A banda foi formada em maio de 1998, quando Zakk Wylde chamou Phil Ondich para tocar com ele na Itália. O guitarrista Nick Catanese recomendou Phil para a bateria, com John DeServio no baixo. A banda foi inicialmente chamada de Hell''s Kitchen, alusão ao bairro de Nova Iorque, gravando o álbum: "Sonic Brewery". Por não conseguirem registrar a marca, mudaram o nome para Black Label Society e do álbum para "Sonic Brew". O segundo registro foi "Stronger Than Death" (2000), seguido de "Alcohol Fueled Brewtality" (2001) e "1919 Eternal" (2002), com alternância de formação: Steve Gibb no baixo e Craig Nunenmacher na bateria.
Entre 2002 e 2003, Robert Trujillo assumiu o baixo e saiu em 2003, entrando para o Metallica. Na turnê do álbum "The Blessed Hellride", Mike Inez, do Alice in Chains, assumiu o baixo, cedendo o lugar para James Lomenzo em 2004. Em 2005, a banda assina com a Artemis Records, selo pelo qual lançou "Mafia" e, em outubro, Lomenzo deixou a banda para a volta de John DeServio. Em abril de 2008, a banda se apresentou pela primeira vez no Brasil junto com Ozzy, no Rio e em São Paulo. Em 2011, Johnny Kelly assume a bateria para turnê do disco "The Songs Remains Not the Same", (2011), alusão ao disco ao vivo do Led Zeppelin, gravado no Madison Square Garden, em Nova Iorque.
