Jean Ferrat nasceu em Vaucresson, Hauts-de-Seine. Era o mais novo dos quatro filhos de um modesta família judia que se mudou para Versailles em 1935. Seu pai era russo e, durante a Segunda Guerra, foi deportado para Auschwitz, onde morreu. Ferrat deixou a escola para ajudar a família.
Começou sua carreira no início dos anos 1950, em um cabaré parisiense. Em 1956, musicou um poema de Louis Aragon, Les yeux d'Elsa ("Os olhos de Elsa"), cuja interpretação, por André Claveau, trouxe a Ferrat algum reconhecimento como compositor.
Seu primeiro disco single, em 45 RPM, foi lançado em 1958, sem sucesso.
Somente em 1959, com o editor Gérard Meys, que também se tornou seu amigo e sócio, sua carreira começou a deslanchar. Assinou um contrato com a Decca e lançou seu segundo single, "Ma Môme", em 1960 sob a direção musical de Meys.
Em 1961 Ferrat casou-se com a cantora Christine Sèvres, que cantava algumas das suas canções. Também conheceu Alain Goraguer, que se tornou arranjador de suas canções. Seu primeiro álbum, Deux Enfants du Soleil, foi lançado naquele ano.
Nuit et Brouillard, lançado em 1963, recebeu o Grande Prêmio do disco da Academia Charles Cros.
Ferrat parou de se apresentar no palco em 1973. Em 1990, recebeu um prêmio da Sociedade dos Autores, Compositores e Editores de Música da França.
Ferrat morreu em 2010, após uma longa enfermidade, aos 79 anos.