Sam Rockwell est un fils de la balle, puisque ses deux parents étaient acteurs, Pete Rockwell et Penny Hess, qui divorcèrent lorsque Sam était âgé de cinq ans. Le jeune garçon sera élevé par son père à San Francisco. Il suit des études au San Francisco School of the Arts, mais ne va pas jusqu'à l'obtention de son diplôme. Finalement, il sortira diplômé de l'Urban Pioneer, une école qui lui donnera l'envie de devenir acteur.
Il fait ses débuts cinématographiques en 1989, en jouant dans le film d'horreur de Victor Salva, Clownhouse. Suite à cette expérience, il part perfectionner son jeu à New-York, au William Esper Studios. Il joue ensuite de petits rôles dans des séries télé, ainsi qu'au cinéma (Dernière sortie pour Brooklyn, les Tortues ninja). Il tient le rôle titre du film A la recherche de Jimmy le Borgne. Mais ces petits rôles ne lui permettent pas de vivre de sa passion, et il cumule les petits rôles (dont celui de détective privé). Il faudra attendre 1994 pour qu'enfin ses revenus lui permettent de se consacrer pleinement à la comédie.
En 1996, il tient un rôle remarqué dans Box of Moonligh, un rôle qui le fait sortir de l'anonymat et qui lui offre la porte à des projets plus intéressants. L'année suivante, il est à l'affiche de Lawn Dogs, où là aussi sa performance est notée. Mais c'est Frank Darabont et sa ligne verte en 1999 qui fera de Sam Rockwell une vedette reconnue du public. A partir de là, il enchaîne les rôles: Galaxy Quest (1999), songe d'une nuit d'été (1999), Charlie et ses drôles de dames (2000), puis le remarqué Confessions d'un homme dangereux (2003) , l'une des performances les plus notables de l'acteur, Les Associés (2003), H2G2 : le guide du voyageur galactique (2005), L'Assassinat de Jesse James par le lâche Robert Ford (2007), Choke (2008), Frost/Nixon, l'heure de vérité (2008). En 2009, il fait une performance exceptionnelle dans le Moon de Duncan Jones. En 2010, il retrouve le réalisateur Jon Favreau (qui avait failli le prendre pour jouer Tony Stark dans Iron Man) pour incarner le méchant d'Iron Man 2. En 2011, toujours pour Jon Favreau, il joue dans Cowboys & envahisseurs.
 
En plus de ses nombreux rôles au cinéma, Sam Rockwell apparaît régulièrement sur les planches, au sein de la compagnie LAByrinth Theater Company.
 
Il vit depuis 2007 avec l'actrice Leslie Bibb, qu'il avait rencontré sur le tournage de Frost/Nixon, l'heure de vérité, et qu'il retrouve pour Iron Man 2.