Zemlinsky étudie au conservatoire de Vienne où il se lie d'amitié avec Arnold Schönberg, futur époux de sa sœur Mathilde. Il devient directeur de l'opéra d'État de Prague où il dirige plusieurs de ses compositions. Né juif, Zemlinsky embrasse la Réforme en 1906 et convainc Schönberg, qui a épousé sa sœur, de l'imiter en 1912. Il quitte l'Europe pour les États-Unis en 1938 où il meurt, méconnu.
Héritier direct de Gustav Mahler et de Richard Strauss, il a exercé une activité de pédagogue, notamment vis-à-vis de Korngold ou encore de Schönberg. Lorsque ce dernier crée le dodécaphonisme, Zemlinsky n'en subit que peu l'influence et reste un compositeur post-romantique expressionniste.
Son rôle dans les milieux musicaux viennois des années 1910 et 1920 ainsi que la valeur de sa musique sont largement sous-estimés, malgré un regain d'intérêt de la communauté musicale et du public qui a commencé à se manifester au cours des années 1970.
Sarema, die Rose vom Kaukasus (Sarema, la rose du Caucase), en trois actes, livret du compositeur et d'Arnold Schoenberg (1893-95, première à Munich en 1897).
Der Traumgörge (George le rêveur), en deux actes, livret de Leo Feld (1904-06, première à Nuremberg en 1980).
Kleider machen Leute (Les vêtements font les gens : L'habit fait le moine), en trois actes, livret de Leo Feld d'après Gottfried Keller (trois versions, 1908-1909/1910/1922, première à Vienne en 1910).
Der Kreidekreis (Le Cercle de craie), en trois actes, op. 21, livret du compositeur d'après Klabund (1930-32, première à Zurich en 1933).
Der König Kandaules (Le Roi Candaule), en trois actes, op. 26, livret du compositeur d'après la pièce de théâtre d’André Gide (1935/36, orchestration complétée par Antony Beaumont en 1992-96, première à Hambourg en 1996).