Le groupe s'est formé en 1993 à Oxford, et son nom provient du titre d'un film de Hal Hartley, The Unbelievable Truth (L'Incroyable Vérité) (Les membres sont des fans du réalisateur).
Le premier single de Unbelivable Truth, Building, a été édité en février 1997 par Shifty Disco, un label basé à Oxford. Ils ont ensuite enregistré leur premier album, Almost Here, en 1998, et leur second, Sorrythankyou, en 2000. Le premier a été publié sur Virgin, mais ils ont été abandonnés par la major et l'opus suivant est paru grâce à Shifty Disco.
Le groupe s'est séparé en 2000, Andy Yorke ayant décidé de quitter le groupe.
Toutefois, ils ont réalisé en 2001 un double album, auto-produit, intitulé Misc. Music, donc le premier disque rassemblait des B-sides et des morceaux inédits, tandis que le deuxième disque était l'enregistrement de leur concert d'adieu, donné au Zodiac à Oxford, le .
Nigel Powell a maintenant un nouveau groupe, The Sad Song Co., tandis qu'Andy Yorke a participé en solo à un concert de soutien à Mark Mulcahy, au Zodiac, à Oxford, le .
The Purple Rhinos : un groupe constitué notamment de Jim, Nigel, Jason, et Anita Wilson.
Nightshade : un groupe auquel a appartenu Nigel, avant de former parallèlement the Illiterate Hands à Oxford. Andy sera invité à chanter à un concert de Nightshade.
The Illiterate Hands : un groupe constitué notamment d'Andy, Nigel, et Jonny Greenwood, guitariste du groupe Radiohead.
Lazare : un groupe constitué de 2F (ex- Arsen), Charly Coombes (Charly Coombes & The New Breed and Supergrass), Nigel Powell et George Shilling (Engineer of the wondeful Bank Cottage studio).
"Honnêtement, la plupart des choses qui rendent le monde agréable sont faites par des gens qui ne seront jamais connus pour ce qu'ils font, excepté par ceux pour qui ils le font." (Nigel)
"Nous aimons le fait que ses films [ceux de Hal hartley] décrivent la réalité, mais en la déformant légèrement. Nous détestons les gens obscurs, ils sont très prétentieux. Mais d'un autre côté, je n'aimerais pas que nous soyons transparents, dans le courant" (Les Inrockuptibles, )
"Je n'aime pas être direct dans mes chansons. J'aime penser que les gens sont capables d'interpréter les chansons à leur manière. C'est peut-être de la lâcheté, mais je crois que j'aime me cacher un peu derrière un voile d'obscurité" (Andy, Canal+ Belgique, 17/01/1999)
"Most of the stuff that honestly makes this world a good place to be is done by people who will never be known for what they do except by those they do it for."
"We like the fact that his films describe the reality but with distorting it slightly. We hate obscure people, they're very pretentious. but on the other hand, I'd hate us to be transparent, in the mainstream."
"I don't like being to straight forward with songs. I like the idea of people being able to interpret the songs in their own way. Maybe it's cowardice but I think I like to hide behind that obscurity a little bit."
Portail du rock