Fils d’immigré juifs polonais, Jean-Jacques Goldman apprend très tôt le violon, puis le piano. A 14 ans, il est choriste dans la chorale de l’église de Montrouge, Les Red Mountain Gospellers. En 1968, il abandonne ses études de musique classique et apprend la guitare. Il joue alors avec différents groupes, dans les bals et les discothèques. En parallèle, il continue sa scolarité normalement et obtient le baccalauréat en 1969 avant de poursuivre des études de commerce à l’EDHEC de Lille de 70 à 73. La rencontre avec deux guitaristes d’origine vietnamienne, Khanh et Taï, est décisive. Ils créent ensemble le groupe Taï Phong (« Grand Vent » en vietnamien) et sortent trois albums. Goldman se lance ensuite dans une carrière solo et sort son premier titre en 1981, Il suffira d’un signe, qui se vendra à près de 500 000 exemplaires. Les albums s’enchaînent et ses chansons deviennent à chaque fois de véritables tubes.