Falk nasceu em 16 de setembro de 1927 em Nova Iorque, numa família judia, de pai russo e mãe tcheca. Aos três anos, um tumor maligno fez com que perdesse um olho. Após ter completado o mestrado em ciências políticas na Universidade de Siracusa (NY), e de ter trabalhado como cozinheiro, tentou em vão se integrar à agência americana de informação, a CIA, lançando-se na carreira de funcionário público do Estado de Connecticut. Deixou o cargo em 1957 por sua paixão, a comédia.
Iniciou, então, a carreira de ator, já numa série de televisão. No filme "Dama por um dia" de Frank Capra, levou um Oscar. No total, trabalhou em 60 filmes, principalmente os de seu amigo John Cassavetes, entre eles "Os Maridos", em 1970, e "Uma Mulher sob influência", em 1974. Em 1992, em "O Jogador" de Robert Altman, desempenhou seu próprio papel.
A partir de 1968, e durante 35 anos, foi o Columbo, que teve o primeiro episódio dirigido pelo então jovem de 25 anos Steven Spielberg. Em 69 episódios, Peter Falk produziu ou coproduizu 24. O último deles data de 2003.
Há vários anos, Peter Falk sofria de Alzheimer, e vivia na dependência da segunda mulher, Shera Danese. Atuou, ainda, em Asas do Desejo (Wim Wenders) 1987; A Princesa Prometida (Rob Reiner) 1987; Deu a Louca no Mundo (Stanley Kramer) 1963; Assassinato por Morte (Robert Moore).