Mark Ruffalo est le fils d'une coiffeuse et d'un peintre dans le bâtiment. Il est d'origine italienne de part son père et sa grand-mère maternelle. Il fait ses études à la First Colonial High School de Virginia Beach. Il déménage ensuite un temps à San Diego, avant de venir s'installer à Los Angeles. Là, il prend des cours de comédie au Stella Adler Conservatory. Il y cofonde la Orpheus Theatre Company. Il jouera au sein de sa compagnie pendant des années, gagnant cependant sa vie en tant qu'employé de bar.
Pendant des années, il cumulera les castings (il prétend avoir participé à plus de 800 auditions avant de percer dans le milieu) et les petits rôles (le dentiste, Casses en tous genres, Chevauchée avec le diable). Mais c'est (logiquement) par le théâtre que Mark Ruffalo se ferra un nom, en particulier grâce à la pièce This is Our Youth, un rôle qui lui permettra de jouer dans tu peux compter sur moi (un film qui se retrouva en lice aux Oscars), puis dans des films comme XX/XY, ma vie sans moi, cette fois-ci en tête d'affiche. Suivront des films comme windalkers - Les Messagers du vent, In the cut, Eternal Sunshine of the Spotless Mind, We Don't Live Here Anymore, Collatéral, Zodiac, Shutter Island, Crazy Night, Tout va bien, The Kids Are All Right. Ce dernier film lui vaudra d'être nommé aux Oscars.
En 2010, il réalise son premier film, Sympathy for Delicious.
 
Mark Ruffalo est marié depuis 2000 à l'actrice Sunrise Coigney.