אנטוני 'טוני' יומי (גיטרה), ווילאם 'ביל' וורד (תופים), ג'ון 'אוזי' אוסבורן (שירה) וטראנס 'גייזר' בוטלר (בס), ארבעת חברי ילדות מאסטון, אנגליה מחליטים על הקמת הלהקה ב-1969.
תחילה הם קוראים ללהקתם "Polka Tulk" מאוחר יותר הן משנים את שם הלהקה ל "Earth" אך היות ונהגו לבלבל בינהם לבין להקה אחרת העונה לאותו השם הם מחליטים לשנות את שמם בפעם השלישית.
בוטלר כתב שיר אשר כותרתו נלקחה מתוך ספר של דניס וויטלי, בלאק סאבאת, והלהקה לבסוף מחליטה לאמץ שם זה.
לאחר מספר הופעות חיות הם מושכים את תשומת לב חברות התקליטים ובסוף 1969 הם חותמים על חוזה הקלטות עם פיליפס רקורדס.
בינואר 1970 הם מוציאים סינגל ראשון "Evil Woman" אשר לא ממש מצליח אך חודש לאחר הוצאת הסינגל הלהקה מוציאה אלבום ראשון "Black Sabbath" האלבום מגיע למצעד עשרת הגדולים באנגליה.
האלבום חושף קהל חדש של חובבי מוסיקה אשר מעשו בבלדות האקוסטיות של שנות השישים ומוכנים כעת למשהו מעט יותר מחוספס.
ספטמבר 1970 הלהקה מוציאה אלבום שני "Paranoid", אשר מגיע למקום הראשון במצעד האנגלי. בארצות הברית האלבום יוצא רק בינואר 1971, ובמרץ הוא מגיע למקום הראשון במצעד האמריקאי.