Josef Černý patří k nejlepším levým křídlům, které hráli československou soutěž a v reprezentaci.
Již ve 14 letech nastoupil za první mužstvo Rožmitálu v krajském přeboru (1953-1957). Odtud směřovaly jeho kroky do Spartaku Plzeň (1957-1958) a odtud mířily do Komety (1957-1978). Zde vydržel dlouhých dvacet let.
První ligový zápas odehrál 9.11.1957 v Plzni zaSpartak Plzeň proti Dynamu Pardubice (8:2) V tomto utkání vstřelil také svou první ligovou branku. Poslední ligovou branku vstřelil 4.11.1977 v zápase Slovan Bratislava - Zetor Brno (2:2). Měla pořadové číslo 409. Poslední zápas odehrál Josef Černý 2.4.1978 (Motor České Budějovice - Zetor Brno). Celkem nastoupil v lize k 689 zápasům, což byl do nedávna platný rekord naší ligy. Skoro v každé sezóně se stal Josef Černý králem střelců Komety a několikrát i celé ligy. Nejúspěšnější sezóna byla 1963-1964, kdy ve 32 zápasech vstřelil 45 branek. Úctyhodná oddílová bilance Josefa Černého pokračuje 155 přátelskými a turnajovými zápasy s československými celky (127 branek) a 212 zápasů s celky zahraničními (165 branek). Celkem sehrál 1056 zápasů (ať už v Plzni nebo v Brně), vtřelil 701 branek.
Stejně úspěšný byl Josef Černý i v reprezentaci. Reprezentační premiéru si odbyl v juniorském celku "lvíčat" 5.11.1957 proti Tatře Kolín. Po šesti zápasech v juniorech (2 branky), nastoupil v příští sezóně (5.2.1959) za reprezentaci ČSR v Hodoníně. Prvním světovým šampionátem bylo MS 1959 v Praze, kde nastupoval v útoku s Františkem Vaňkem a Jánem Starším. Josef Černý nastoupil celkem na 12 (!!) světových šampionátech. Stejným číslem se mohou chlubit jen Oldřich Machač a Jiří Holík. Zúčastnil se rovněž čtyř olympijských her. Stal se kapitánem Komety a také reprezentace. Jeho posledním reprezentačním vystoupením byly OH 1972 v Sapporu.