Em 2005, Gazarra publicou uma autobiografia, "In The Moment: My Life as an Actor", onde relatou seu romance com Audrey Hepburn. Casado por três vezes, sua relação mais famosa foi o namoro com Audrey, com quem atuou em A Herdeira (1979) e Muito Riso e Muita Alegria (1981).
Gazzara era casado com a ex-modelo Elke Krivat desde 1982. Ele havia manifestado o amor pelo Rio de Janeiro, onde tinha muitos amigos. Entr eles, Pitanguy e Tom Jobim.