באמצע שנות השישים מערערת 'הפלישה הבריטית' את הצלחתו של ספקטור בנוסף לכך להקות עצמאיות אשר כותבות לבד הפיקו אלבומים יותר מתקדמים מבחינה תכנית ומבחינה מוסיקלית ומוסיקת אופרת הנעורים של ספקטור נשמעת מיושנת לעומתה.
כשהוא מביע את אכזבתו מתעשיית המוסיקה האמריקאית הוא עוזב את ניו יורק וחוזר ללוס אנג'לס, שם הוא נושא לאישה את רוני הסולנית של הרונטס.
לקראת סוף שנות השישים ספקטור חוזר לזירה המוסיקלית כשהוא מפיק מספר שירים באלבומם של החיפושיות "Let it Be".
הוא גם מפיק את אלבומי הסולו של ג'ורג' הריסון וג'ון לנון במהלך שנות השביעים.
בעשורים שלאחר מכן הוא עובד רק על פרוקטים ספציפים ביניהם אלבום של ליאונרד כהן "Death of a Ladies Man", אלבומים דיון ושל הרמונס.