Il est né dans l'État de Rhode Island et commence par jouer de la guitare mais se met rapidement au saxo ténor.
Il commence à jouer dans l'orchestre de Count Basie en 1946 après son service militaire.
Il rejoint l'orchestre de Duke Ellington en 1950 en remplacement de Ben Webster et finira sa carrière avec lui.
Le style de Gonsalves devient plus expérimental, il joue avec les atonalités bien avant John Coltrane et
Eric Dolphy. Il a un style très personnel, qui le fait qualifier de "Bacchus au ténor", sans doute à
cause de sa forte attirance pour les boissons alcoolisées.
Son morceau de bravoure est le long solo (27 fois 12 mesures) dans "Diminuendo and Crescendo in Blue"
au festival de Newport en 1956.
Narcoleptique, il avait tendance à s'endormir au cours des concerts, ne se réveillant que pour prendre son solo avant de se rendormir.
