Acteur à la voix de baryton reconnaissable entre mille (tout comme son presque partenaire dans la trilogie du Seigneur des anneaux de Peter Jackson, Christopher Lee), John Rhys-Davies a beaucoup joué pour la télévision (Shogun, Sliders et les incorruptibles de façon régulière, de nombreuses autres productions de façon ponctuelle). Mais il est surtout connu pour avoir participé à deux des sagas cinématographiques les plus marquantes de ces 30 dernières années: la saga Indiana Jones, dans laquelle il joue Sallah, et la trilogie du seigneur des anneaux où il joue Gimli le nain. Dans le cas de ce dernier rôle il est amusant de noter qu'alors qu'il joue un personnage d'environ 1m50, il était l'un des acteurs les plus grands du tournage.
On a aussi pu le voir dans un film de la saga James Bond, Tuer n'est pas jouer, aux côtés de Timothy Dalton.
 
Il fût nommé aux Emmy Awards en 1981 pour sa prestation dans la série Shogun. De plus, la Screen Actor Guild of America a récompensé la totalité du casting du Retour du roi de Peter Jackson, en 2004 (ce même casting avait été nommé en 2003 pour les deux tours et en 2002 pour la communauté de l'anneau).