Der Vater von Joe, Jules Dassin, war ein bekannter US-amerikanischer Filmregisseur bei Metro Goldwyn Mayer und Assistent von Alfred Hitchcock, der in den 1940er und 1950er Jahren in Hollywood tätig war, und sein Sohn verbrachte die Kindheit in den USA. Mit der Familie zog er Anfang der 50er Jahre nach Europa, nachdem sein Vater wegen der antikommunistischen Politik das Land verlassen musste. Kurze Zeit später kam Joe zusammen mit seiner Mutter Beatrice und seinen Geschwistern zurück nach Los Angeles. Sie wohnten dort in einem ansehnlichen Haus in der 898 So. Bronson Ave. Sein Vater, inzwischen geschieden, heiratete 1966 die griechische Schauspielerin Melina Mercouri, die er 1955 bei den internationalen Filmfestspielen in Cannes kennengelernt hatte.
(Bild: US-Einreiseformular der Familie Dassin)