פיל ספקטור נולד בברונקס ב-26 לדצמבר ב-1940.כשהיה בן 12 עבר עם משפחתו ללוס אנג'לס. ב-1958 לקראת סיום לימודיו התיכוניים הוא כותב את "To Know Him is To Love Him" לזכר אביו שנפטר. יחד עם אניטה קלינבארד ומארסל לייב, חברים לספסל הלימודים, הוא מקליט את השיר בסטודיו מקומי כשהם קוראים לעצמם The Teddy Bears.
עד סוף אותה שנה היה השיר ללהיט מספר אחד במצעד הפיזמונים.
הלהקה לא הצליחה להוציא עוד להיט בסדר גודל כמו הראשון ואחרי זמן קצר הם מתפרקים.
מיד לאחר מכן ספקטור עובר לניו יורק, שם הוא עובד בעיקר כמפיק וככותב שירים. הוא מוציא מספר להיטים ביניהם "Spanish Harlem" שהיה להיט של בן איי.קינג ב-1961.