Enfant, il fréquente la maîtrise Saint-Evode de la cathédrale de Rouen en 1912 pour y étudier le chant choral, le piano et l'orgue (Jules Haelling). En 1918, il part à Paris pour y étudier l'orgue avec Charles Tournemire. À 18 ans, il intègre le Conservatoire de musique et de déclamation ; il y étudie la composition avec Paul Dukas, et l'orgue avec Eugène Gigout, cependant il prenait quand même des leçons privées avec Louis Vierne. Pour des raisons obscures, il a plus tard un différend profond avec Gigout, mais, vers la fin de sa vie, le décrira laconiquement comme « un excellent homme, un point c'est tout ».
Entre 1922 et 1928, il remporte plusieurs prix dont ceux de composition, d'accompagnement pianistique, d'harmonie et d'orgue. En 1927, il devient assistant de Louis Vierne à Notre-Dame de Paris. Vierne souhaitait vivement que Duruflé lui succède mais les autorités étaient mécontentes de Vierne et, à sa mort, c'est Léonce de Saint-Martin, un organiste compétent quoique non primé, qui est nommé. Quoi qu'il en soit, c'est Duruflé qui était aux côtés de Vierne au pupitre de Notre-Dame lorsque Vierne meurt subitement pendant son 1750e récital dans la cathédrale.
En 1929, Duruflé remporte le prix des "Amis de l'orgue", pour orgue et improvisation et il obtient le poste d'organiste titulaire à l'église Saint-Étienne-du-Mont de Paris. Son opus 3, Prélude, Récitatif et Variations pour flûte, alto et piano, a été donné pour la première fois par Marcel Moyse, Maurice Vieux et Jean Doyen.
En 1947, il publia son œuvre la plus réputée, le Requiem Op. 9, pour chœur, solistes, orchestre et orgue qui est jouée pour la première fois par Paul Paray. Le Requiem présente des similitudes avec celui de Fauré mais est aussi très influencé par le chant grégorien et la musique de la Renaissance. Par exemple, le thème de l'ouverture dans l'Introit-Kyrie est emprunté de la Missa pro defunctis de Duarte Lobo. La pièce a été retravaillée en deux autres versions et existe donc aujourd'hui en trois versions : une pour orchestre symphonique, une pour orchestre simple et une avec orgue (qui comprend un solo obbligato pour violoncelle dans le Pie Jesu). Il interpréta lui-même la version pour orgue seul à l'église Saint-Pothin de Lyon sur invitation d'Adrien Rougier, organiste titulaire, qui admirait son œuvre[2]. Sa messe Cum Jubilo existe également dans ces trois versions.
L'organiste Marie-Madeleine Chevalier, avec qui il fit connaissance dans la classe de Marcel Dupré, qu'elle a remplacé à cause d'un voyage concertant en Amérique pour six mois, devient son assistante à Saint-Étienne-du-Mont en 1947. Il l'épouse en 1953 à l'âge de 51 ans, après un premier mariage avec Lucette Bousquet en 1932, le divorce civil ayant été prononcé en 1947 et la déclaration de nullité par le Vatican le .
Prélude, Adagio et Choral varié sur le Veni Creator op. 4 (1930), cette partition lui a valu le prix de composition des Amis de l'orgue. Durée de la pièce : environ 20 minutes.
Suite op. 5 (1932), dédicacée à Paul Dukas (environ 25 minutes) :
Prélude
Sicilienne
Toccata
Prélude et Fugue sur le nom d'Alain op. 7 (1942), écrit en hommage à Jehan Alain, mort deux ans plus tôt. Durée de la pièce : environ 10 minutes.
Prélude sur l'Introït de l'Épiphanie Ecce advenit dominator Dominus op. 13 (1961), faisant partie du recueil Orgue et liturgie. Durée de la pièce : environ 2 minutes.
Fugue sur le carillon des heures de la Cathédrale de Soissons op. 12 (1962), dédiée à Henri Doyen, titulaire de l'orgue de Soisson. Durée de la pièce : environ 3 minutes.
Méditation op. posth. (1964) dont la partition n'a été retrouvée qu'en 2002. Durée de la pièce : environ 4 minutes.
Requiem, (version 1961), Quatre motets sur des thèmes grégoriens, Messe "Cum jubilo" (version 1967), Patricia Bardon, Mezzo-soprano, Ashley Riches, Bariton-basse, Tom Etheridge & Richard Gowers, orgue, The Choir of King's College, Cambridge, Orchestra of the Enlightenment, dir Stephen Cléobury 2016