Rabih Abou-Khalil grandit à Beyrouth, où il étudie la musique arabe et orientale à l’Académie des Arts de Beyrouth. En 1978, il s’exile à Munich, à cause de la guerre civile au Liban. Il y étudie la flûte traversière auprès de Walter Theurer. Son instrument principal reste cependant l’oud, le luth arabe, utilisé en Europe à l'époque du Moyen-Age (du mot arabe al' oud = le bois, le bâton), dont il joue depuis l'âge de cinq ans.
Geoff Dyer a écrit au sujet de Rabih Abou-Khalil : « Rabih Abou-Khalil n’expérimente pas, il cherche. C’est une recherche mue par le rythme et nourrie de tradition. Ou plus exactement par plusieurs traditions : musique arabe, jazz, blues. C’est pour ainsi dire une musique qui cherche de l’avant mais qui est aussi entièrement imbibée du passé. »
Il cherche à concilier l'Orient et l'Occident. Cela se remarque au fait que le fondement de son jeu est la tradition musicale arabe dont il fait un genre musical moderne grâce à ses improvisations et qu’il arrive aussi à placer dans un contexte de jazz.
Grâce à ses disques, des musiciens qui l’accompagnent à l’occasion ont obtenu un grand succès tel Howard Levy. Le joueur de tambourin Glen Velez et Nabil Khaiat ont souvent soutenu ses projets musicaux.
Ses compositions sont célèbres pour leurs mesures composées, c'est-à-dire qu'on entendra rarement chez Rabih Abou khalil des mesures simples en 4/4 ou 3/4 mais plutôt des métriques puisées dans le répertoire et les traditions de la musique arabe, turque voire perse (11/8, 5/8, 7/8 etc). Il en est souvent de même pour les mélodies qui sont très souvent basées sur des maqams orientaux.
1994 : The Sultan's Picnic, Enja Records: Rabih Abou-Khalil (oud), Howard Levy (harm), Kenny Wheeler (tp, flh), Charlie Mariano (as), Michel Godard (tuba), Steve Swallow (b), Mark Nauseef (dr), Milton Cardona & Nabil Khaiat (perc)
1995 : Arabian Waltz, Enja Records: Rabih Abou-Khalil (oud, comp), Michel Godard (tuba), Nabil Khaiat (frame drums), The Balanescu Quartet: Alexander Balanescu (violin), Clare Connors (violin), Paul Martin (viola), David Cunliffe (cello)
1997 : Odd Times, Enja Records: Rabih Abou-Khalil (oud, compositions), Howard Levy (harmonica), Michel Godard (tuba, serpent), Mark Nauseef (drums), Nabil Khaiat (frame drums)
2005 : Journey To The Centre Of An Egg, Enja Records: Rabih Abou-Khalil (oud), Joachim Kühn (piano, alto saxophone), Jarrod Cagwin (drums, percussion), Wolfgang Reisinger (additional percussion)
2007 : Songs For Sad Women, Enja Records: Rabih Abou-Khalil (oud), Gevorg Dabaghyan (duduk), Jarrod Cagwin (drums, frame drums), Michel Godard (Serpent)
2010 : Trouble in Jerusalem, Enja Records: Rabih Abou-Khalil (oud), Michel Godard (tuba, serpent), Jarrod Cagwin (frame drums), Walter Quintus (sound engineer), The German Youth Orchestra (BJO) dirigé par Frank Strobel - Solistes: Tobias Feldmann (violon), Sarina Zickgraf (alto), Sophie Notte (violoncelle)