Mark Margolis fait ses études d'art dramatique sous la direction de Stella Adler, ainsi qu'à l'Actor's Studio. Il fait ses débuts sur grand écran en 1976, au travers d'un petit rôle de figuration dans The Opening of Misty Beethoven, un classique du film pornographique. Il joue ensuite dans quelques films, avant de se faire connaître en 1983 en tenant un rôle dans le Scarface de Brian De Palma (il avait auparavant joué pour le cinéaste en 1980 dans Pulsions).
Suivent alors de nombreuses apparitions, aussi bien dans des comédies (Le Secret de mon succès, Ace Ventura, détective chiens et chats), des thrillers (Faux témoin), des films d'action (Delta Force 2), des films historiques (Glory, 1492 : Christophe Colomb), que des films fantastiques (Christmas Evil, Darkside, les contes de la nuit noire).
1998 marque sa rencontre avec le cinéaste Darren Aronofsky, qui fera de Mark Margolis l'un de ses acteurs fétiches, en la faisant participer à tous ses films (Pi, Requiem for a dream, The Fountain et The Wrestler).
En plus de ses apparitions cinématographiques, Mark Margolis a aussi énormément travaillé pour la télévision, avec des participations à des séries à succès comme Star Trek la nouvelle génération, New York police judiciaire, Californication, Oz ou bien encore Code Quantum.
 
Son fils, Morgan Margolis, est lui aussi acteur, et tout comme son père, est apparu dans la série Star Trek la nouvelle génération.