1967 év körül alakult egy Polka Tulk nevű zenekar Birminghamben. Alapító tagok: Frank Anthony Iommi, John Michael "Ozzy" Osbourne, Terence Michael "Geezer" Butler és William "Bill" Ward. Inkább beceneveiket használták: Tony, Ozzy, Geezer és Bill. Később rájöttek hogy az Earth Blues Company név jobb lenne, amit Bill Ward dobos javasolt. Jazzből és bluesból állt a stílusuk, első számuk a Wicked World lett. 1968-ban megjelent első demojuk a Song For Jim. Első fellépésükre úgy kertült sor, hogy a színpadra Jethro Trull-t várták, és mivel nem érkeztek meg időben - a rövidített nevű - Earth adhatott koncertet.

 Iommi hozta a riffeket, Geezer pedig a szövegek nagy részét írta. Elkészült a következő számuk is, de egyelőre még cím nélkül. Geezer Butler basszusgitáros egy The Devil Rides Out című könyvben olvasott egy nevet ami megtetszett neki: Black Sabbath. Később az Earth nevet is elhagyták, és a végleges nevük lett a "Fekete Szombat" amelyből a sabat a zsidók szent napját jelenti. Első Sabbath számuk a The Rebel, ami felkerült további három ki nem adott demora... A blues, és jazz stílust is elhagyták, elkezdtek hard rockot játszani.

A név megválasztása után szerződést kaptak a Vertigo-nál, és megjelent első lemezük amely Black Sabbath címet kapta. A kritikusok körében azonban nem ez lett a nagy figyelemfelkeltő remekmű. Még ugyanebben az évben jelent meg a Paranoid című második albumuk, ami aztán végleg a világhír felé vezetett. Az album eredeti címe War Pigs lett volna, mivel a borítón is egy "disznó" látható katonaruhában. A Paranoid számuk,  illetve az egész album a hard rock egyik alapjának számított, de a mai  heavy metalra, sőt még a black metalra is nagy hatással volt. '71-ben megjelent a Master Of Reality című albumuk.

  1971-re már mindeni ismerte őket. Főleg az Egyesült Államokban lettek nagyon népszerűek. Látványos koncerteket adtak, ahol bizarr megjelenésük, vad viselkedésük és szövegeik által lettek híresek-hírhedtek. Kiadócsere miatt hosszabb szünettől  eltekintve folyamatosan adták ki lemezeiket; 1972 kijött a Volume 4. Producerük egészen eddig az albumig Roger Bain volt. A lemezborítók, a szövegek nem épp lettek minden nyerspolgár kedvencei... Ez az album már rendes stúdiózás keretében lett felvéve, míg az első háromnál nem alkalmaztak semmiféle akkor korszerű stúdiós rendszert.                                                     A következő lemez a Sabbath Bloody Sabbath lett, talán az eddigi legszínvonalasabb, és aminek címadó nótája egy nagy Sabbath himnusszá vált. A koncerteket figyelemmel kísérő személy észrevehette, hogy a zenekar központi showman-je, Ozzy folyton a színpad valamelyik szélén, - gyakrabban a bal felén - foglalt helyet, míg Iommi gitáros a színpad közepén, ami tökéletes szerepvesztésnek bizonyult. A két zenész között egyre elhatalmasodott egy bizonyos pocícióharc, és miután 1996-ban megjelent Technical Ecstasy albumuk, Ozzy távozott a zenekarból. Egy ideig Dave Walker jött a helyére, de lemez nem jött ki, és Osbourne '78 januárjában visszatért egy album erejéig. - ez lett a Never Say Die. Ozzy távollétében Iommi felkereste Ronnie James Dio-t, de miután az eredeti énekes visszajött, majd ismét távozott - már véglegesen - csak utána lett Dio a hivatalosan bejelentett  Sabbath énekes. Ronnie James Dio az Elfnek, majd a Rainbownak volt nagyszerű énekese.

   Dio-val azonban nem lehetet megcsinálni mindazt amit Ozzyval, ő ragaszkodott a színpad közepét elfoglani. Ronnie közreműködésével a Sabbath kiadta a sikeres Heaven And Hell-t. A zenekarhoz csatlakozott egy szintetizátoros is, Geoff Nichols. A 80-as évek Black Sabbathja már a nagy showhoz volt szokva, többet számított a technika, mint az egyéni produkció, a zene. Ronnie James Dioval megjelent következő lemezük '81-ben a Mob Rules, ( ami egy kicsit Rainbow átmenet. ) majd 1982-ben rögzítettek egy koncertfelvételt, amit '83-ban adtak ki Live Evil címmel, és ekkorra már Dio távozott, és saját zenekart alapított.

  Így a Sabbath új énekest keresett; Iommi és Butler felkereste a Deep Purple legelső énekesét, aki épp akkor "szabad" volt. Még 1983-ban csinálták meg új albumukat a Born Again-t, Ian Gillan-nel, aki  aztán a "hangja elkeverése", és a borító miatt kilépett a Sabbathból. 1985-ben megrendezték a Live Aid koncertet, amin a haragban lévő, eredeti Sabbath  felállás fellépett.  (állítólag nem köszöntek egymásnak a koncert elején, sem a végén).