Nehemiah Persoff émigre aux Etats-Unis en 1929, et se découvre un goût pour le métier de comédien au début des années 40, alors qu'il exerce le métier d'électricien dans le métro new-yorkais. Après la guerre, il devient acteur professionnel, au New York Theater. En 1947, il intègre l'Actor Studio et commence à apparaître au cinéma.
Il tiendra un petit rôle dans le classique d'Elia Kazan, sur les quais, ainsi que dans Plus dure sera la chute (le dernier film tourné par Humphrey Bogart), le faux coupable d'Alfred Hitchcock, Barrage contre le Pacifique, Vertes demeures, Certains l'aiment chaud de Billy Wilder, La Plus Grande Histoire jamais contée, ou bien encore La Dernière tentation du Christ de Martin Scorsese.
A la télévision, ce sont prêt de 400 apparitions que compte Nehemiah Persoff (La Quatrième Dimension, Rawhide, Wild Wild West, les incorruptibles, New York - Police judiciaire).
 
Dans les années 80, il se met à peindre, et arrêtera petit à petit son métier d'acteur pour celui de peintre.