Józef Karge urodził się 4 lipca 1823 roku w Olędrach Terespotockich jako syn Jakuba i Weroniki z domu Braniewicz. Swoją edukację odbył w Poznaniu i Berlinie, po czym wstąpił do pruskiej Królewskiej Gwardii Konnej, gdzie pełnił służbę jako oficer.
W 1848 roku, podczas Wiosny Ludów, zdezerterował z armii pruskiej, aby wziąć udział w powstaniu wielkopolskim, dążącym do odzyskania niepodległości przez Polskę. Za ten czyn został skazany na śmierć przez pruski sąd, co zmusiło go do ucieczki najpierw do Francji, a następnie do Anglii. W 1851 roku osiedlił się w Nowym Jorku, gdzie uzyskał status uchodźcy politycznego, a w 1856 roku został naturalizowanym obywatelem Stanów Zjednoczonych. Do 1861 roku wykładał literaturę klasyczną w Danbury w stanie Connecticut, a następnie języki obce w Nowym Jorku.
Po wybuchu wojny secesyjnej wstąpił do armii Unii. Był współorganizatorem oraz jednym z oficerów 58. Ochotniczego Pułku Piechoty Nowego Jorku, znanego jako Polish Legion, dowodzonego przez Włodzimierza Krzyżanowskiego. Awansowany do stopnia podpułkownika, a następnie pułkownika, służył w pułku kawalerii z New Jersey. Wziął udział w II bitwie nad Bull Run, podczas której został ranny. Mimo niewyleczonej rany powrócił do służby i uczestniczył w bitwie pod Fredericksburgiem.
W listopadzie 1863 roku objął dowództwo 2. Pułku Kawalerii z New Jersey. W składzie dywizji generała Benjamina Griersona wziął udział w rajdzie na terytorium Tennessee i Alabamy. 2 maja 1864 roku pod Bolivar w stanie Tennessee, dowodząc 600 kawalerzystami, zmusił do odwrotu oddział legendarnego generała konfederatów Nathana Bedforda Forresta, który do tej pory uchodził za niezwyciężonego. 13 marca 1865 roku prezydent Abraham Lincoln awansował Kargego do stopnia generała brygady za zasługi w czasie wojny. 1 listopada 1865 roku Karge przeszedł w stan spoczynku.
Po zakończeniu służby wojskowej podjął pracę jako wykładowca literatury na Princeton University. Historyk James Axtell opisał go jako najbardziej barwną postać na wydziale, na którym pracował. Jeden z jego współpracowników wspominał, że Karge chętniej niż o literaturze opowiadał o taktyce wojskowej i swoim awanturniczym życiu.
Józef Karge zmarł z przyczyn naturalnych 27 grudnia 1892 roku w Nowym Jorku.
