Avant de devenir acteur, Philip Baker Hall a d'abord servi dans l'armée, puis exercé le métier d'enseignant. En 1961, il décide de devenir acteur et part s'installer à New-York, où il commence une carrière sur les planches de Broadway.
En 1975, il quitte New-York pour Los Angeles, passant du théâtre à la télévision. Jusqu'à aujourd'hui, sa carrière compte plus de 200 participations télévisées.
Au cinéma, l'un de ses premiers rôles notables est celui qu'il tient dans Secret Honor de Robert Altman (où il incarne Richard Nixon). Mais le film ne connait pas le succès escompté, et Philip Baker Hall doit attendre douze ans et double Mise de Paul Thomas Anderson pour que le public ne le remarque. On retrouvera l'acteur et la réalisateur dans Boogie Nights puis Magnolia.
A partir des années 80 (et encore aujourd'hui), Philip Baker Hall a tenu de petits rôles de guest stars dans de nombreux films, comme S.O.S. Fantômes II, les trois Rush Hour, The Rock, The Truman Show, Le Talentueux Mr Ripley, la somme de toutes les peurs, Air Force One, Révélations, Bruce Tout-puissant, Dogville, Amityville. Il est aussi apparu dans deux films traitant du tueur le Zodiac, à savoir The Zodiac d'Alexander Bulkley et Zodiac de David Fincher.