ב-1984 קייב שוהה במערב ברלין שם מתחילה לרקום עור וגידים להקתו הבאה The Bad Seeds הכוללת את המתופף מיק הרווי הגיטריסר בליקסה ברגל (שהוא גם הגיטריסט של אינשטרוזן ניובטן) הבסיסט ברי אדמסון אליהם מצטרפים אניטה ליין אדוארד קלייטון ג'ונס והוגו רייס ויחדיו הם מוציאים את From Her to Eternity.
ב-1985 הם מוציאים אלבום נוסף בשם The firstborn is Dead הכולל את השיר Tupelo המבוסס על שיר של ג'והן ל י הוקר בעל אותו השם.
ב-1986 הם מוציאים אלבום נוסף בשם Kicking Against the Pricks
הכולל גירסת כיסוי לשיר All Tomorrows Party של הוולוט אנדרגראונד.באותה שנה הם גם מוציאים אלבום נוסף בשם Your Funeral...My Trial.
ב-1988 הם מוציאים את Tender Prey ושנה לאחר מכן את Ghost...of the Civil Dead.
ב-1989 בייק מפרסם ספר בשם King Ink,אוסף שירים ומחזות.הלהקה משתתפת בסרטו של ויים וונדר Wings of Desire כשקייב משחק את הדמות הראשית וקייב ברגל והרווי מחברים את המוסיקה לסרט.
קיייב גם משתתף בסרטו של טום דיכלי Johnny Suede.