Clarke nasceu na Grã-Bretanha, em 1950. Após passar por uma série de bandas locais, o guitarrista se profissionalizou no início dos anos 70, ao entrar na banda Curtis Knight's. Depois passou por grupos como Zeus, Blue Goose e Be-Bop Deluxe até se juntar com Lemmy e Phill Taylor no Motörhead no fim dos anos 70.
Com a banda, gravou seis discos ("Motörhead", "Overkill", "Ace of Spades", "Bomber", "No Sleep 'til Hammersmith" e "Iron Fist"), considerados por boa parte dos fãs como a fase áurea da banda. O guitarrista saiu em 1982, durante uma turnê nos Estados Unidos. Depois disso, formou o Fastway.
Clarke voltou a se reunir com Lemmy em 2014, para tocar a clássica "Ace of Spades" durante uma apresentação do Motörhead no National Indoor Arena, em Birmingham.