Succédant à Gaston Litaize à l'orgue de l'église Notre-Dame-de-la-Croix de Ménilmontant, il est, pendant 10 ans, organiste titulaire de l'orgue de l'église Saint-Pierre de Montrouge à Paris. Organiste de 1945 à 1987 à l'orgue de la basilique Sainte-Clotilde de Paris, orgue rendu célèbre par César Franck et Charles Tournemire, il enseigne à son tour à l'Institut des Jeunes Aveugles et à la Schola Cantorum. Improvisateur réputé, il fut aussi un compositeur prolifique. Si la musique d'orgue et la musique liturgique constituent la part la plus importante de son catalogue, il consacra une part de son activité à la musique instrumentale et vocale profane. Il donna aussi beaucoup de concerts, notamment 300 récitals aux États-Unis entre 1952 et 1981. Les nombreuses pages d'orgue qu'il a composées lui valurent la célébrité dans le monde musical. On a parfois souligné, à tort, la ressemblance de sa musique avec celle de Paul Hindemith, un compositeur dont il n'aimait pas l'harmonie. On peut plutôt estimer que sa filiation spirituelle vient en droite ligne de ses prédécesseurs à Sainte-Clotilde, César Franck et Charles Tournemire.
Une rue lui est dédiée à La Richardais où il possédait une maison de vacances.
Il a formé nombre d'élèves venus de tous pays, parmi lesquels George Baker, Lynne Davis, Ann Labounsky, Susan Ferré, Kathleen Thomersonn (États-Unis), Jean Overduin (Canada), Ewald Kooiman (Pays-Bas), Wolfgang Sieber (Suisse), Thomas Daniel Schlee (Autriche) et, pour la France, Pierre Cogen (organiste honoraire de Sainte-Clotilde à Paris), Jean-Baptiste Courtois (organiste titulaire de Saint-Gervais à Paris), Marie-Bernadette Dufourcet-Hakim (professeur à l'Université Michel-de-Montaigne de Bordeaux), Marie-Agnès Grall-Menet (organiste titulaire de Saint-Nicolas du Chardonnet à Paris) à qui il a dédié son premier Prélude et Fugue opus no 1, Naji Hakim (compositeur), Marie-Louise Jaquet-Langlais, sa deuxième épouse (musicologue), Odile Jutten (organiste titulaire de la cathédrale d'Evreux), Michelle Leclerc, etc.
Il est enterré à Escalquens, près de Toulouse, avec sa première femme Janette et sa fille Janine.
La musique liturgique occupe une place prédominante dans l'œuvre de Jean Langlais : Missa In simplicitate et Missa Solemnis, composées en 1949 et 1952, font désormais partie des pièces du répertoire classique. À côté de son œuvre religieuse, il compose de nombreuses pièces pour orchestre ou formation de chambre. Malgré certaines pièces difficiles d'abord pour une oreille peu avertie, Jean Langlais s'est surtout attaché à rester abordable tout en innovant dans les formes harmoniques et rythmiques. Jean Langlais s'inspire souvent du légendaire celtique, des cantiques bretons et de la musique bretonne. Né près de Rennes, il compose des chansons populaires de Haute-Bretagne et il puise dans le fond breton pour ses œuvres : La Ville d'Ys, Complainte de Pontkalleg, Noël breton, Suite armoricaine[1]…
Les grandes-orgues Cavaillé-Coll de la basilique Sainte-Clotilde de Paris.
1927 – Prélude et fugue
1932 – Poèmes Evangéliques : L'Annonciation – La Nativité – Les Rameaux
1933–34 – Trois Paraphrases Grégoriennes : Mors et Resurrectio – Ave Maria, Ave Maris stella – Te Deum
1933–39 – Vingt–Quatre Pièces pour harmonium ou orgue en 2 volumes
1941 – Première Symphonie : Allegro – Eglogue – Choral – Final
1942–43 – Neuf Pièces : Chant de peine – Chant de joie – Chant de paix – Chant héroïque – In dulci jubilo – De profundis – Mon âme cherche une fin paisible – Prélude sur une antienne – Rhapsodie grégorienne
1943 – Deux Offertoires pour tous les temps
1946 – Fête
1947 – Suite Brève : Grands Jeux – Cantilène – Plainte – Dialogue sur les mixtures
1948 – Suite Française : Prélude sur les grands jeux – Nazard – Contrepoint sur des jeux d’anches – Française – Choral sur la voix humaine – Arabesque sur les flûtes – Méditation sur les jeux de fonds – Trio – Voix céleste – Final rhapsodique
1949 – Incantation pour un Jour Saint
1950 – Four Postludes
1951 – Hommage à Frescobaldi : Prélude au Kyrie – Offertoire – Élévation – Communion –Fantaisie – Antienne – Thème et variations – Epilogue pour pédale solo
1952 – Missa "In Simplicitate" pour chœur à l'unisson et orgue
1952 – Folkloric Suite : Fugue sur O filii – Légende de Saint Nicolas – Canzona – Cantique – Rhapsodie sur deux Noëls
1954 – Dominica in Palmis
1956 – Huit Pièces Modales
1956 – Organ Book : Prelude – Pastoral Song – Choral in E minor – Flutes – Musette – Choral in F Major – Scherzando – Epithalamium – Andantino – Pasticcio
1956 – Triptyque : Melody – Trio – Final
1957 – Office pour la Sainte Famille : Prélude – Offertoire – Communion – Sortie
1957 – Office pour la Sainte Trinité : Prélude – Offertoire – Communion – Sortie
1961 – Essai
1962 – Trois Méditations sur la Sainte Trinité : Le Père – Le Fils – Le Saint Esprit
1962 – Douze Petites Pièces pour orgue ou harmonium
1965 – Poem of Life
1966 – Poem of Peace
1966 – Poem of Happiness
1967 – Sonate en trio
1968 – Livre Œcuménique : Sacris solemniis – De Profundis – Verbum supernum – Ein Feste Burg – Ave Maris stella – Magnificat – Pater Noster – Notre Père – Kyrie orbis factor – Kyrie, Dieu, Père Éternel – Gloria orbis factor – Gloire à Dieu
1968 - Missa Solemnis "Orbis Factor" pour chœur mixte, chant d'assemblée et orgue
1968 – Deux Pièces : Adoration – Prélude dans le style ancien
1969 – Three Voluntaries : Saint Jacques le Majeur – Ste Marie Madeleine – Ste Trinité
1970 – Trois Implorations : Pour la Joie – Pour l’Indulgence – Pour la Croyance
1971 – Cinq Chorals : Was uns die Erde Gutes spendet – Nun singt ein neues Lied dem Herren – Wie lieblich schön, Herr Zebaoth – Gesegn uns, Herr, die Gaben dein – Wir wollen singn ein Lobgesang
1971 – Offrande à Marie : Mater admirabilis – Consolatrix afflictorum –Regina angelorum – Regina pacis – Mater Christi – Maria Mater gratiae
1973 – Cinq Méditations sur l’Apocalypse : Celui qui a des oreilles, qu’il écoute – Il était, Il est et Il vient – Visions prophétiques – Oh oui, viens, Seigneur Jésus – La Cinquième trompette
1973 – Suite Baroque : Plein jeu – Trémolo en taille – Dialogue – Flûtes – Dialogue entre le hautbois, le bourdon et le nazard – Voix humaine – Grand Jeu
1974 – Huit Chants de Bretagne : Le Paradis – Disons le chapelet – Angélus – Noël breton – Jésus mon sauveur béni – Jésus nous dit de prier – Aux lys avec leurs feuilles argentées – Pensez à l’Éternité
1975 – Trois Esquisses Romanes pour un ou deux orgues
1975 – Trois Esquisses Gothiques pour un ou deux orgues
1985 – American Folk–Hymn Settings : Amazing Grace – Battle Hymn of the Republic – How firm a foundation – On Jordan’s stormy banks I stand – There is a fountain filled with blood – When I can read my tittle clear
1988 – Christmas Carol Hymn Settings : O Come, all ye faithful – Angels we have heard on high – Silent night, Holy night – In Dulci Jubilo – Joy to the world – He is born
1988 – Contrastes : Glas – Allegretto – Kyrie – Pièce de concert
1990 – Mort et Résurrection
1990 – Moonlight Scherzo
1990 – Trois Offertoires
1990 – Suite in Simplicitate : Plein jeu à la Française – Virgo Maria – Cum Jubilo
Missa Salve regina - Messe Solennelle - Westminster Cathedral choir, English Chamber orchestra, Brass Ensemble, dir. David Hill, James O'Donnell et Andrew Lumsden, orgues - Hyperion 1987 (CDA66270)
Works for orchestra and organ - London Pro Arte Orchestra, dir. Murray Stewart, Marie-Louise Langlais, orgue - CD audio - Koch Schwann 1994 (3-1529-2H1)
Psaumes solennels -East London Chorus, Locke Brass Consort, London Pro arte Orchestra, dir. Murray Stewart, Colin Walsh, orgue - CD audio - Koch Schwann 1997 (3-1530-2 H1)