Rochberg a étudié au Mannes College of Music, l'un de ses professeurs étant le chef d'orchestre George Szell. Au cours de la Seconde Guerre mondiale, il est engagé en 1942 et est grièvement blessé. Il est rapatrié aux États-Unis, où il reprend ses études musicales à Philadelphie avec notamment Rosario Scalero. Il est titulaire de la chaire de musique de l'université de Pennsylvanie jusqu'en 1968, où il continue d'enseigner jusqu'en 1983.
Sa musique est très tôt reconnue et il reçoit dès 1953 le prix George Gerschwin Memorial Award pour son Night Music. Il a, par la suite, de nombreuses distinctions, tant académiques que musicales.
Après une période d'expérimentation du sérialisme, Rochberg abandonne ce concept après 1963 à la mort de son fils, affirmant alors que le sérialisme était vide d'émotion et ne lui permettait pas d'exprimer sa rage et son chagrin[1]. À partir des années 1970, il utilise des passages tonaux au sein de ses partitions. Son utilisation du système tonal est particulièrement net dans son troisième quatuor à cordes (1972) qui comporte une série de variations dans le style du dernier Beethoven. Un autre mouvement du même quatuor comporte des réminiscences des partitions de Gustav Mahler. Cette utilisation du système tonal le fait classer par certains critiques comme néo-romantique. Rochberg rapproche la musique atonale de l'art abstrait et la musique tonale de l'art figuratif. Il rapproche sa propre évolution avec celle de Philip Guston, affirmant que la tension entre figuration et abstraction est un concept fondamental pour les deux artistes (Rochberg 1992).
Parmi les œuvres plus précoces, sa symphonie nº 2 (1955-1956) fait figure comme un exemple de musique sérielle américaine. Néanmoins, Rochberg est plus connu pour ses derniers quatuors, les quatrième, cinquième et sixième formant un ensemble appelé Concord Quatuors en hommage à l'ensemble musical du même nom qui a créé l'œuvre. Son sixième quatuor comporte un ensemble de variations sur le canon de Pachelbel.
Un certain nombre de ses partitions consiste en des « collages » de citations d'autres œuvres de divers compositeurs. "Contra Mortem et Tempus", par exemple, contient des passages de Pierre Boulez, Luciano Berio, Edgard Varèse et Charles Ives.
Rochberg a écrit un certain nombre d'essais, publiés en 1984 sous le nom The Aesthetics of Survival (Esthétique de la survie). Une sélection de sa correspondance avec le compositeur canadien István Anhalt a été publiée en 2007.
Alan M. Gillmor (éd.), Eagle Minds: Selected Correspondence of Istvan Anhalt et George Rochberg (1961-2005), Waterloo, Ont.: Wilfrid Laurier University Press, 2007 (ISBN978-1-55458-018-7).
George Rochberg, « Guston and Me: Digression and Return », Contemporary Music Review, 6 (2), 1992, p. 5-8.
Ann Arbor (éd.), The Aesthetics of Survival: à Composer's View of Twentieth-Century Music, University of Michigan Press, éd. revue et augmentée, 2005 (ISBN978-0-472-03026-2).
