Nazareth est formé en décembre 1968 à Dunfermline, en Écosse, comme un groupe local semi-professionnel de reprises : The Shadettes (formé en 1961 et qui faisait la tournée des pubs) par le chanteur Dan McCafferty, le guitariste Manny Charlton (ex-Mark V et The Red Hawks), le bassiste Pete Agnew, et le batteur Darrell Sweet[3]. Ils s'inspirent des Beatles et des Rolling Stones[4]. Nazareth reprend son nom de Nazareth (Pennsylvanie), qui est cité dans la première ligne du morceau The Weight de The Band (I pulled into Nazareth / Was feelin' about half past dead...)[3].
En 1970, le groupe s'installe à Londres, en Angleterre, et sort en 1971Nazareth, en 1972 Exercises et Razamanaz début 1973. Ce dernier album a engendré deux hits dans les charts britanniques, Broken Down Angel et Bad Bad Boy. L'album suivant, Loud 'n' Proud, paru fin 1973, contient un autre single en la reprise hard rock du titre de Joni MitchellThis Flight Tonight. En 1974 sort Rampant, d'où aucun single n'est issu. Une reprise qui n'est présente dans aucun album, My White Bicycle, entre dans le Top 20 anglais en 1975.
Hair of the Dog sort en 1975. Le titre éponyme de cet album (connu également sous le nom de Son of a Bitch, d'une phrase du refrain) est largement diffusé dans les radios des années 1970. La version américaine de l'album inclut une chanson initialement enregistrée par The Everly Brothers, et également reprise par Roy Orbison, la ballade Love Hurts, le plus important succès du groupe au Royaume-Uni et aux États-Unis où il entre dans le Top 10[5]. Il restera d'ailleurs 60 semaines dans les charts norvégiens[5]. Le titre original devient également un des titres phares de l'épisode Grand Theft Auto IV: The Lost and Damned.
En 1979, un second guitariste, Zal Cleminson, est ajouté à la formation. Celui-ci reste pour deux albums, No Mean City et Malice In Wonderland (comprenant le single Holiday), et contribue à de nombreuses compositions. Le groupe contribue, en 1981, à la bande son du film Heavy Metal avec la chanson Crazy (A Suitable Case for Treatment).
Plusieurs formations de Nazareth continuent à faire des albums en studio et des tournées dans les années 1980 et 1990. En 1999, pendant la tournée américaine, le batteur d'origine, Darrell Sweet, meurt à 51 ans d'une crise cardiaque. Il est remplacé par Lee Agnew, le fils du bassiste Pete Agnew, pour les albums ultérieurs du groupe.
En février 2008, un nouvel album, Newz, est publié sur le label Edel Entertainment. La sortie de l'album coïncide avec la tournée du quarantième anniversaire de Nazareth. En 2011, Nazareth sort Big Dogz, toujours chez Edel. Cet album propose un CD studio et un CD live unplugged. Dans la foulée, le groupe entame une nouvelle tournée en Europe et au Canada.
En 2014, après la sortie de l'album Rock 'n' Roll Telephone, Dan McCafferty annonce qu'il souffre d'une broncho-pneumopathie chronique obstructive et qu'il n'est pas capable de chanter sur scène dans ces conditions[6] ; il est remplacé pour la tournée par Linton Osborne[7]. Pour la tournée 2016, Carl Sentance remplace Dan McCafferty au chant.