Estudió clarinete en el Roya College of Music de Londres y logró importantes méritos, como la oportunidad de estrenar la Sonatina para clarinete y piano de Malcom Arnold en 1951 pero no fue admitido en el curso de dirección porque no tenía el nivel de piano requerido. Aun así creó la orquesta del Kalmar con unos amigos, que dirigió él mismo.
En1952, Davis trabajó en el Royall Festival Hall y a finales de los años 50 dirigió la BBC Scottish Orquesta. Tuvo un largo éxito cuando sustituyó a Otto Kemplerer. Al año siguiente reemplazó a Thomar Beecham.
Durante los años 60 colaboró con el Sadler's Wells Opera, la Orquesta Sinfónica de Londres y la Orquesta Sinfónica de la BBC. En 1967 debutó en el Metropolitan de Nueva York. En 1971 sustituyó a Sir Georg Solti como director musical del Royal Opera House-Covent Garden, hasta 1986. Ha actuado igualmente en el Festival de Salzburgo.
Llegó a ser un intérprete destacado de óperas de Michael Tippett; interpretó la primera de TThe Knor Garden (1970, de The Ice Break (1977) y de The Mask Of Time (1984). En 1977 se convirtió en el primer director de orquesta inglés en actuar en el Festival de Bayreuth (consagrado a óperas de Richard Wagner), donde dirigió Tannhauser.
Dirigió la Orquesta Sinfónica de la Radio de Baviera en Múnich, donde destacó en las interpretaciones de obras de Mozart, y la Orquesta Sinfónica de Boston antes de ser nombrado jefe titular de la Orquesta Sinfónica de Londres en 1995. Fue director honorario de la Staatskapelle de Dresde. Se especializó en la música de Héctor Berlioz.
