Acteur indissociable de la télévision américaine, on a pu le voir dans pratiquement toutes les séries à la mode, des Simpson à la série pour laquelle il fut nommé en 2006, The Closer, en passant par Numb3rs, Nip/Tuk, Urgences, John Doe, New York District, F.B.I. Portés disparus, ou bien encore Oz.
Mais côté cinéma, J. K. Simmons n'est pas en reste, puisqu'il a partagé l'affiche avec des acteurs aussi prestigieux que Brad Pitt (Le Mexicain), Bruce Willis (Le Chacal), Christian Bale (Bad Times), ou Viggo Mortensen (Hidalgo). Mais son plus gros succès au cinéma reste lié à Sam Raimi, pour qui il a joué à de nombreuses reprises, d'Intuitions à la trilogie spider-Man dans laquelle il joue l'employeur de Peter Parker/Spider-Man.
 
Acteur transformiste, pouvant passer d'un personnage comme le tyrannique J.J. Jameson (Spider-Man et ses suites) au rôle mythique de Buffalo Bill Hidalgo avec brio. En effet, à chaque fois, le rôle semble avoir été écrit pour lui.
Un acteur cantonné aux seconds rôles, mais pourtant exceptionnellement charismatique.