ב-1968 כהן חותם על חוזה הקלטות עם חברת התקליטים קולומביה ובאותה שנה גם יוצא אלבומו הראשון "The Songs Of Leonard Cohen " אלבומו הופך ללהיט מידי על פי הסטנדרטים של מוסיקת פולק.
ב-1969 מוציא כהן אלבום נוסף בעל אותה רוח מלנכולית "Songs From A Room".
ב-1971 הוא מוציא את "Songs Of Love and Hate" המבסס את מעמדו כסמל תרבות וב-1973 יוצא אלבום נוסף "Leonard Cohen:Live Songs".
באותה שנה המוסיקה שלו היוותה השראה להפקה תיאטרלית בשם "Sisters Of Mercy" (על פי שם השיר) המחזה מבוסס על חייו של כהן.