Il a commencé sa carrière musicale en 1964 dans le groupe The Ramblers qui, après un changement de nom, devinrent Joker's Wild avec lequel son ami David Gilmour était guitariste et chanteur, jusqu'à ce qu'il ne quitte pour devenir musicien de studio en 1966. Gilmour l'a ensuite invité à jouer sur deux albums studio de Pink Floyd, The Dark Side of the Moon (Money et Us and Them) en 1973 et Wish You Were Here (Shine on you crazy diamond Part V) en 1975. Puis dans tous les spectacles de Pink Floyd compris entre 1973 et 1975. Par la suite, il est revenu jouer avec le groupe sur leur album Division Bell (Wearing the inside out) en 1994 ainsi que sur la tournée Pulse l'année suivante. Finalement, il a fait une toute dernière apparition avec le groupe pour son ultime performance au Live 8 en 2005 où il a joué du saxophone sur Money. Il joua aussi avec David Gilmour en tournée, on peut d'ailleurs le retrouver sur les DVD David Gilmour in Concert en 2002, Remember That Night en 2007 et Live in Gdańsk en 2008.
Hormis ses participations aux prestations de Pink Floyd et de Gilmour, Parry a aussi participé à la tournée de 1979-1980 du groupe The Who et à la tournée de Violent Femmes en 2006[1].