Madge étudie le piano dès ses huit ans, puis avec Clemens Leski au conservatoire d'Adélaïde jusqu'en 1959[2]. De 1959 à 1963, il est membre d'un trio avec piano et la même année, remporte le concours concerto et vocal de l'ABC (Sydney). Il se perfectionne en Europe avec Eduardo del Pueyo à Bruxelles, Géza Anda à Lucerne et Péter Sólymos en Hongrie (1967)[2] et joue à Londres, Cologne, Budapest et Amsterdam.
En 1971, il est nommé au Conservatoire de La Haye et se fait la réputation de jouer le répertoire moderne et peu joués : Mossolov, Obouhov, Roslavets, Lourié, Alexandrov et Wyschnegradsky[2]. En 1979, il donne la première représentation complète des 32 Pièces pour piano de Nikos Skalkottas[3] ainsi que quatre études[2]. En 1975, il donne à Athènes les pièces de Xenakis, Herma, Evryali et Synaphai[4].
Madge joue des œuvres longues et difficiles, notamment l’Opus clavicembalisticum de Sorabji[5], l'une des plus longues et des plus difficiles compositions jamais écrit pour le piano, et qu'il enregistre deux fois. En 1982, à Utrech, cinquante deux ans après la première exécution publique par le compositeur lui-même, Madge donne la seconde exécution publique de l'œuvre : le concert commence à 20 h 15 et s'achève le lendemain à 12 h 45... Il répète l'exploit à Chicago et Bonn[2].
Sa puissance technique est étonnante et sans doute inégalée[2]. Son répertoire étendu de la musique moderne (Ives, Sorabji, Boulez, Stockhausen, Wolpe, Barraqué, Bussotti, Xenakis, etc.) n'a aucun concurrent qui ait réuni autant d'œuvres importantes[2].
En tant que compositeur, Madge est un autodidacte[2]. Il est l'auteur d'une sonate pour alto et piano (1963), d'une sonatine pour violon et piano (1966), d'un ballet, Monkeys in a Cage (créé à Sydney en 1977), trois mouvements pour piano (1979) et d'un concerto pour piano créé à Amsterdam en 1980)[2].
Medtner, Concertos pour piano nos 1 à 3, Sonate en sol mineur ; Sonata reminiscenza ; Sonata tragica - Artur Rubinstein Philharmonic Orchestra, dir. Ilya Stupel (, 2CD BIS) (OCLC49940169)