Leo G. Carroll a commencé sa carrière sur les planches de Broadway, où il a travaillé pour Laurence Olivier, avant de se tourner vers le grand écran.
Acteur Hitchcockien par excellence, Leo G. Carroll a joué dans quelques uns des plus grands films du maître (il est même celui qui a joué dans le plus de films du cinéaste). On a ainsi pu le voir dans Rebecca, Soupçons, La maison du docteur Edwardes, le procès Paradine, l'inconnu du nord-express, et La mort aux trousses).
En plus des films pour le grand écran auxquels il a participé, on a pu le voir dans un rôle récurrent dans la série des agents très spéciaux.