Gemma Jones est la fille de l'acteur Griffith Jones, et la sœur de Nicholas Jones, lui aussi acteur.
Elle débute à la télévision britannique, et en 1971 reçoit sa première nomination aux B.A.F.T.A. en tant que meilleure actrice. Durant la même décennie elle recevra deux autres nominations, toujours aux B.A.F.T.A., mais là encore sans être récompensée.
Au cinéma, elle compte de très nombreux rôles, ses plus nobles étant ceux de Raison et sentiments, en 1996, Le Journal de Bridget Jones et sa suite Bridget Jones: l'âge de raison (2001 et 2004), Harry Potter et la chambre des secrets et Harry Potter et le prince de sang-mêlé, où elle joue le professeur Pomfresh.