Az énekest hosszan tartó, súlyos betegség után szombat hajnalban, életének 65. évében érte a halál.
Kovács József 1967-ben tűnt föl a Táncdalfesztiválon, amelyen a Jöjj vissza hozzám kezdetű dallal viharos közönségsikert aratott. Ezután még két évben, 1968-ban és 1969-ben is megnyerte a fesztivál közönségdíját.

A Színház- és Filmművészeti Főiskola operett tanszakára 1971-ben jelentkezett. Három évvel később oklevelet szerzett olyan tanárok irányításával, mint Vályi Éva, dr. Sipos Jenő, Nádasdy Kálmán, Vámos László és Seregi László.
A Budapesti Operettszínházhoz 1971-be került, itt a Mosoly országa című operett Szu-Csong hercegeként debütált.

Ezután külföldi szerződést kapott, a grazi színházhoz került, ahol egészen 1990-ig szerepelt. 17 év után visszatérve Magyarországra létrehozta az Interoperett Kft.-t, amelyet mostanáig igazgatott. Munkája során számos fiatal énekes tehetséget fedezett fel.

Csepel önkormányzata 1997-ben díszpolgári címet adományozott neki, ugyanis minden évben karácsonyi koncertet adott az ott élőknek az Interoperett Társulatával.

Nevéhez kötődik egyebek mellett az újévi televíziós operettkoncertek meghonosítása és Károly körúti Fillmmúzeum helyén a Belvárosi Színház létrehozása.