Josef Koudelka nace 10 de enero de 1938 en Boskovice, Checoslovaquia. Se interesa por la fotografía a los doce años gracias a un tal Sr. Dycka, panadero de oficio, fotógrafo aficionado y amigo de su padre. Sus primeras fotografías son de su entorno familiar y para realizarlas se vale de una cámara de baquelita 6 x 6. En 1956 se traslada a Praga para comenzar la carrera de ingeniería aeronáutica. Durante los años de estudios conoce al fotógrafo Jiri Jenicek, quien le anima a reunir una serie de fotografía para realizar su primera exposición en 1961 en el Teatro Semafor de Praga. Durante la inauguración conoce a Anna Fárová, amiga y colaboradora a lo largo de toda su vida.

Durante los años sesenta compagina su trabajo de ingeniero en Praga y Bratislava con la fotografía, que cada vez le ocupa más tiempo. Así, colabora esporádicamente con la revista Divadlo (teatro) y su interés por la música tradicional y de los "rroma" le lleva a hacer de los gitanos su principal sujeto fotográfico.

En 1965 es invitado por el director del Divadlo za branou (Teatro tras el puente) a fotografiar espectáculos teatrales. Y junto a Marieta Luskacová emprende varios viajes por el este de Eslovaquia con el fin de fotografiar celebraciones religiosas.

En 1966 se publica el primer libro de fotografías de Koudelka, que recoge la serie de la obra de Alfred Jarry Ubu Rey, que había sido puesta en escena por Jan Grossman.

En 1967 decide abandonar su trabajo como ingeniero para dedicarse exclusivamente a la fotografía. En ese momento se inscribe en la Unión de Artistas Checoslovacos y recibe el premio anual de la asociación por "la originalidad y calidad de sus fotografías de teatro".

Expone por primera vez las fotografías de gitanos tomadas en 1961 y 1967 bajo el rótulo de Cikáni. Al año siguiente viaja a Rumanía para continuar su proyecto sobre estilo de vida de los gitanos y regresa a Praga un día antes de que comience la invasión de Checoslovaquia por parte de las tropas del Pacto de Varsovia. A lo largo de los días siguientes fotografía el enfrentamiento entre soviéticos y checoslovacos. Estas fotografías saldrán de Checoslovaquia en 1969 por mediación de Anna Fárová y serán distribuidas por la Agencia Magnum, entonces presidida por Elliott Erwitt, a las revistas y periódicos de mayor relevancia internacional (Look, The Sunday Times Magazine y Época) sin que se mencione el nombre de su autor para protegerle de posibles represalias. Este relato visual "de un fotógrafo checo" le valdrá el Premio Robert Capa del Overseas Press Club.

En 1970 abandona Checoslovaquia con un visado de tres meses para continuar fotografiando gitanos, en esta ocasión, en el oeste de Europa. Al caducar el visado decide no regresar a su país, convirtiéndose desde ese momento en apátrida. Hasta 1980, gracias al asilo político de Inglaterra, fija su residencia en Londres y se dedica a recorrer diversos países europeos fotografiando celebraciones populares, escenas cotidianas y gitanos.

En 1971, Elliott Erwitt le propone unirse a la cooperativa Mágnum Photos y Koudelka acepta ser miembro asociado. Es entonces cuando conoce a Henri Cartier-Bresson y al editor y fotógrafo Robert Delpire, con quienes mantendrá una relación muy cercana. Koudelka reconoce que trabajando con Robert Delpire aprendió de fotografía más que nunca en su vida y que éste es la persona que mejor conoce su obra, a lo que ayuda el hecho de que sea el editor de la mayor parte de los libros de Koudelka.

El Museo de Arte Contemporáneo de Nueva York (MoMA) rinde homenaje al fotógrafo organizando una exposición individual con el título de Josef Koudelka. Y en ese mismo año, 1975, Robert Delpire publica en París el libro Gitans: la Fin du Voyage (Gitanos: el final del viaje), que recibirá el Premio Nadar tres años más tarde.

En 1980 abandona Inglaterra para instalarse en Francia, pero hasta el año 1987 no se nacionaliza francés.

En 1986 es invitado por la Mission Photografique de la DATAR a formar parte, junto a otros fotógrafos, de un proyecto cuyo objetivo es documentar la diversidad de paisajes, tanto urbanos como rurales, de Francia. Tras probar a hacer fotografías en París, Normandía y Bretaña, se decide por la región de Lorena, donde la reestructuración de la industria metalúrgica estaba produciendo grandes cambios en el terreno. Con esta experiencia comenzará a emplear sistemáticamente cámaras panorámicas, pues ya realizaba fotografía panorámicas desde 1958.

Hasta hoy en día, Josef Koudelka ha recibido prestigiosos galardones en reconocimiento a su labor, como el Premio Cartier-Bresson, la Medalla de la Royal Photographic Society o el Premio internacional de la Fundación Hasselblad y ha sido nombrado Caballero de las Artes y las Letras por el Ministerio de Cultura de Francia.