Jeffrey Tambor débute sa carrière artistique sur les planches, à Broadway, en 1976, sous la direction d'Arthur Penn. La même année, il commence à jouer pour le petit écran. Il apparaitra tout au long de sa très prolifique carrière dans nombre de productions télévisuelles, dont Kojak, M*A*S*H*, Max Headroom , ainsi que bien entendu les deux séries qui le rendront célèbre, à savoir The Larry Sanders Show, et Arrested Development.
Pour The Larry Sanders Show, Jeffrey Tambor se verra à quatre reprises cité aux Emmy Awards (contre "seulement" deux fois pour Arrested Development).
En plus de son travail pour la télévision, Jeffrey Tambor apparaît dans de nombreux films, comme Justice pour tous (son premier film), de Norman Jewison, Chienne de vie, de Mel Brooks, La Vie, l'amour, les vaches, de Ron Underwood, Mary à tout prix, des frères Farrelly, Rencontre avec Joe Black, de Martin Brest, Les Muppets dans l'espace , de Tim Hill, Une vie volée, de James Mangold, Le Grinch, de Ron Howard, Hellboy et sa suite Hellboy II : Les légions d'or maudites, tous deux réalisés par Guillermo Del Toro, ou bien encore Very Bad Trip, de Todd Phillips.
 
Jeffrey Tambor est aussi connu pour avoir pendant des années été associé à l'Eglise de Scientologie. Depuis 2008, l'acteur dit ne plus adhérer au mouvement créé par Ron Hubbard.