Od kilkudziesięciu lat mieszkał pod Drawskiem Pomorskim. Pomocną dłoń dla dwukrotnego mistrza wyciągnął ówczesny burmistrz Drawska, Zbigniew Ptak. . - Wszystko mnie strasznie boli, ja już chcę umrzeć - wspomina jedna z ostatnich rozmów ze Szmidtem, Ptak, który nie tylko opiekował się "Polskim Kangurem", ale wręcz został jego przyjacielem.
Późniejszy rekordzista globu urodził się 28 marca 1935 roku w Miechowicach, które obecnie są dzielnicą Bytomia. Po II wojnie światowej jego rodzina pozostała na Śląsku. Ojciec mistrza zginął podczas wojny w Norwegii, a matka postanowiła pozostać w rodzinnym domu. Do uprawiania sportu namówił go starszy brat. Edward Szmidt od 1952 roku trenował lekkoatletykę, był olimpijczykiem z Melbourne i specjalizował się w biegach sprinterskich. Młodszy o 4 lata Józefa nie garnął się jednak do sportu – został ślusarzem samochodowym i pracował w warsztacie. Namowy brata długo nie przynosiły powodzenia, ale ostatecznie 20-letni Józef został zawodnikiem klubu Górnik Zabrze. Później dzięki wsparciu Edwarda Józefa powołany do wojska trafił nie do jednostki, a do Wrocławia, gdzie został zawodnikiem Śląska. W 1956 roku, blisko rodzinnego domu, w Zabrzu zdobył pierwszy medal mistrzostw Polski. Uzyskał wówczas wynik 14.45, a złoto – z rekordem Polski 15.60 – wywalczył późniejszy ceniony trener Ryszard Malcherczyk. Po kolejnych dwóch latach Szmidt, który trafił pod opiekę wybitnego specjalisty Tadeusza Starzyńskiego – twórcy polskiego stylu trójskoku – zdobył pierwsze złoto krajowego czempionatu uzyskując w Bydgoszczy 15.97. Miesiąc później świętował pierwszy wielki sukces międzynarodowy. Podczas legendarnych mistrzostw Europy w Sztokholmie skoczył 16.43 i zapewniając sobie złoty medal poprawił też rekord Polski.
5 sierpnia 1960 roku na malowniczym Stadionie Leśnym, położonym na północnych rubieżach Olsztyna, Szmidt dokonał rzeczy niezwykłej. Jako pierwszy człowiek w historii światowej lekkiej atletyki uzyskał w trójskoku wynik ponad 17 metrowy. Uzyskał wówczas 17.03 i poprawił o 33 centymetry dotychczasowy rekord świata należący do zawodnika ZSRR Fiedosiejewa. Wynik Polaka jako najdłuższa próba w trójskoku przetrwała 8 lat i została poprawiona dopiero podczas pamiętnego konkursu na igrzyskach w Meksyku w październiku 1968 roku.
"Gazeta Olsztyńska" na platformie YT zamieściła filmik z jego rekordowego skoku:
https://www.youtube.com/watch?v=5JKNOmzFvsM
Z Olsztyna Szmidt pojechał do Rzymu na Igrzyska XVII Olimpiady. W Wiecznym Mieście Polak zaimponował już w eliminacjach. Wynikiem 16.44 ustanowił rekord olimpijski i bez problemu awansował do zaplanowanego już na godziny popołudniowe finału. W nim najpierw uzyskał 16.78, a potem w trzeciej serii 16.81 i zapewnił sobie pierwszy w karierze triumf olimpijski. Podczas rzymskich igrzysk Szmidt wystartował także w biegu rozstawnym 4 x 100 metrów, ale polski zespół został w pierwszej rundzie zdyskwalifikowany za przekroczenie strefy zmian.
Szmidt dominował w kolejnych sezonach. W 1962 roku zdobył w Belgradzie drugie w karierze mistrzostwo Europy uzyskując w finale znakomite 16.55. Niestety na kilka miesięcy przed igrzyskami w Tokio okazało się, że mistrz ma problemy zdrowotne. W czerwcu po zdiagnozowaniu stanu zapalnego kaletki poddał się operacji. Nie do końca zdrowy poleciał jednak do Japonii i zadziwił się szczególnie sceptyków. W Tokio prowadził od pierwszej kolejki po próbie na 16.37. W piątej serii Polaka na drugie miejsce zepchnął Oleg Fiedosiejew – ten, któremu nasz zawodnik 4 lata wcześniej odebrał miano rekordzisty świata. Rosjanin uzyskał 16.58, ale Szmidt odpowiedział w szóstej serii znakomitą próbą na 16.85. Poprawił własny rekord igrzysk i jako pierwszy polski sportowiec obronił mistrzostwo olimpijskie.
Później startował jeszcze na igrzyskach w Meksyku. Trójskok rozgrywano 16 i 17 października. Już w eliminacjach Włoch Giuseppe Gentile rezultatem 17.10 odebrał Polakowi rekord świata, a w kolejnym dniu najlepszy wynik w historii poprawiano jeszcze czterokrotnie. Konkurs z wynikiem 17.39 wygrał Wiktor Saniejew i tym samym rozpoczął swe panowanie na olimpijskim tronie trójskoku – był jeszcze mistrzem w 1972 i 1976 oraz wicemistrzem w 1980 roku.
Szmidt po Meksyku startował jeszcze w mistrzostwach Europy w Helsinkach (1971), ale zajął tam odległe miejsce w finale. W 1972 roku nastąpiła symboliczna zmiana pokoleniowa. Na stadionie Skry mistrzem Polski w trójskoku został Michał Joachimowski, a Szmidt zdobył brąz. Dwa lata później to Joachimowski zostanie pierwszym w historii zawodnikiem, który w hali uzyska w trójskoku wynik ponad 17 metrów.
Przez lata swojej bogatej kariery 40-krotny reprezentant Polski w meczach międzypaństwowych. Wielokrotny rekordzista kraju oraz 19-krotny medalista mistrzostw Polski w trójskoku, skoku w dal i sztafecie 4 x 100 metrów. W 1960 oraz 1964 zwyciężał w plebiscycie Przeglądu Sportowego. Został wybrany najlepszym trójskoczkiem w historii z okazji 100-lecia Polskiego Związku Lekkiej Atletyki.
W 1975 roku Szmidt wyjechał z Polski i wrócił do niej dopiero na początku lat 90. Osiadł w rejonie Drawska Pomorskiego. W 2014 roku podczas memoriału Janusza Kusocińskiego w Szczecinie doszło do wyjątkowego spotkania Szmidta z obecnym rekordzistą świata w trójskoku Jonathanem Edwardsem.
Polska lekkoatletyka straciła postać wybitną. Zmarł Człowiek, który był legendą światowego sportu, jednym z filarów słynnego Wunderteamu. Cześć Jego Pamięci!
Podsumowanie statystyczne kariery Józefa Szmidta
Igrzyska Olimpijskie
1960 – złoty medal z wynikiem 16.81
1964 – złoty medal z wynikiem 16.85
1968 – 7. miejsce z wynikiem 16.89
Mistrzostwa Europy
1958 – złoty medal z wynikiem 16.43
1962 – złoty medal z wynikiem 16.55
1966 – 5. miejsce z wynikiem 16.45
1971 – 11. miejsce z wynikiem 15.62
Finały pucharu Europy
1965 – 3. miejsce z wynikiem 16.41
1967 – 3. miejsce z wynikiem 16.29
1970 – 3. miejsce z wynikiem 16.65
10 najlepszych wyników
17.03, 05.08.1960 Olsztyn (MP)
16.99, 25.08.1963 Bydgoszcz (MP)
16.89, 17.10.1968 Meksyk (IO)
16.88, 14.09.1963 Moskwa
16.85, 22.07.1963 Kraków
16.85, 16.10.1964 Tokio (IO)
16.84, 19.08.1967 Chorzów
16.81, 06.09.1960 Rzym (IO)
16.74, 30.07.1965 Londyn
16.69, 10.07.1960, Rostock
Średnia 10 wyników: 16.857
Rekordy Polski w trójskoku
16.20, 22.06.1958 Poznań
16.23, 13.07.1958 Łódź
16.43, 23.08.1958 Sztokholm (ME)
16.53, 18.06.1960 Praga
16.69, 10.07.1960 Rostock
17.03, 05.08.1960 Olsztyn
Dodatkowo był rekordzistą Polski w skoku w dal (7.84 14 lipca 1963 roku w Spale) oraz w klubowej sztafecie 4 x 100 metrów.