Après avoir travaillé avec quelques gloires locales, Jimmy Cobb accompagne Earl Bostic en tournées (1951), puis Dinah Washington, dont il devient le compagnon[1] et le directeur musical (1951-1955). Suit une période new-yorkaise en indépendant, jusqu'à ce qu'il soit engagé par Cannonball Adderley (1957-58) et soit brièvement associé à Stan Getz et Dizzy Gillespie. En 1958, il suit Cannonball Adderley chez Miles Davis. Aux côtés du trompettiste, il forme alors, jusqu'en 1962, une exceptionnelle section rythmique avec Paul Chambers et Bill Evans, puis avec Red Garland et, surtout, Wynton Kelly, avec qui il joue régulièrement jusqu'à sa mort.
En 1963, Jimmy Cobb quitte Miles Davis mais continue de travailler avec la section rythmique de Miles, Wynton Kelly et Paul Chambers. Ils se sépareront à la fin des années 1960, lorsque Jimmy Cobb décidera de travailler avec Sarah Vaughan, avec laquelle il restera 9 ans.
À ce moment, Jimmy Cobb repart en indépendant, pendant les années 1970, 1980 et 1990 et joue pour différents groupes comme ceux de Nat Adderley ou de George Coleman.
Son œuvre la plus connue demeure Kind of Blue auquel il participe en compagnie de Miles Davis en 1959, « reconnu par les plus éminents critiques de jazz non seulement comme le meilleur album de Miles Davis, mais aussi comme le plus grand disque de jazz jamais réalisé »[2]. Il participera avec Miles Davis à d'autres enregistrements majeurs de l'histoire du jazz, comme Sketches of Spain, Someday My Prince Will Come ou Porgy and Bess.
National Endowment for the Arts - NEA Jazz Master : nomination et récompensé en qualité de Jazz Master en 2009[5] (N.B. : la plus prestigieuse récompense de la nation américaine en matière de jazz).
