24 maja 1844 roku w Oświei – gdzie po upadku powstania listopadowego pozbawiony tytułu szlacheckiego wyjechał jego ojciec – urodził się Jan Jarkowski.
Jego rodzice zmarli bardzo wcześnie. Jarkowski ukończył szkołę wojskową dla sierot, po czym służył w oddziale artylerii na Kaukazie. W pierwszym roku służby opracował dalmierz artyleryjski swego pomysłu. Ten wynalazek przyniósł mu uznanie przełożonych i wyróżnienie złotym zegarkiem, który wręczył mu osobiście dowódca artylerii kaukaskiej. Ciężko ranny w trakcie walk w Czeczenii, nie powrócił już do służby wojskowej.
W 1866 roku rozpoczął studia w Instytucie Technologicznym w Petersburgu, gdzie w roku 1870 uzyskał tytuł inżyniera. Dwa lata później, po otrzymaniu stypendium Instytutu Technologicznego, w celu pogłębienia wiedzy odbył podróż po Europie Zachodniej. W 1874 roku wrócił do Rosji, gdzie zaczął pracę w branży kolejowej, pnąc się coraz wyżej po szczeblach kariery.
Jako inżynier Jan Jarkowski zyskał ogromny autorytet. Pierwszy zastosował opał ropą naftową w piecach spawalniczych w fabryce braci Goujon w Moskwie, budował własnego pomysłu piece do spalania ekskrementów, przydatne dla fabryk w miastach nie mających kanalizacji, zbudował i opatentował rotacyjny silnik parowy, skonstruował własnego pomysłu przyrząd do badania smarów i wykonał za jego pomocą liczne próby i doświadczenia.
W końcu lat 1880-tych podjął problematykę rodzącej się techniki lotniczej. W 1889 roku przeprowadził w Moskwie fundamentalne eksperymenty badając opory i siłę ciągu śmigieł lotniczych, optymalizując kąty natarcia płatów nośnych. Doświadczenie inżynierskie i zdolności eksperymentatorskie pozwoliły osiągnąć mu rezultaty budzące podziw współczesnych, a jego osiągnięcia traktowano na równi z dorobkiem Otto Lilienthala. Wyniki Jarkowskiego dorównywały tym osiąganym w latach 1890-tych w USA przez Samuela Pierponta Langleya – światowej sławy pioniera w dziedzinie aeronautyki.
Jego zainteresowania obejmowały również problematykę filozofii i kosmologii. Opublikował we Francji i w Rosji wiele rozpraw w tej tematyce. W 1888 roku wysunął hipotezę istnienia niewielkiego efektu termicznego zmieniającego orbity obiektów krążących wokół Słońca, znanego jako efekt Jarkowskiego. W uznaniu jego pracy jedną z planetoid nazwano (35334) Yarkovsky.
