John Neville est né le 2 mai 1925 à Londres, en Angleterre.
 
La carrière d'acteur de John Neville a commencé dès les années 50, au théâtre, ainsi que dans de petits rôles, essentiellement pour la télévision.
En 1965 il interprète au cinéma le rôle de Sherlock Holmes dans Sherlock Holmes contre Jack l'éventreur, avant de revenir au théâtre, théâtre qu'il ne quittera pas avant de très nombreuses années. Il faudra attendre Terry Gilliam, à la fin des années 80, qui lui confiera le rôle titre dans ses aventures du baron de Munchausen. Le film sera un échec commercial cuisant, mais tout le monde reconnaîtra dans John Neville un acteur au talent exceptionnel. Etrangement, ce film marque son dernier rôle principal dans un film, John Neville préférant se cantonner aux seconds rôles. Il apparaîtra cependant dans de nombreuses productions luxueuses, comme le cinquième élément, de Luc Besson, en 1997, Urban Legend, en 1998, ou bien encore Spider, de David Cronenberg, en 2001.
Il joue aussi beaucoup pour la télévision, et en particulier dans la série de Chris Carter, X-Files. il y incarne un indicateur mystérieux, qui apparaitra même dans X-Files, le film, en 1998.
En 1993, il fait une apparition dans la série Star Trek: la nouvelle génération, où il incarne un Isaac Newton jouant au poker avec l'androïde Data (Brent Spiner), Einstein et le véritable Stephen Hawkins, venu faire une apparition dans la série.