またカラヤンは戦後、復活したワーグナーのオペラ作品の上演を目的とするバイロイト音楽祭の主要指揮者となりますが、音楽祭の主催者、ヴィラント・ワーグナーと演出面で対立。

その後、バイロイト音楽祭に参加することは二度とありませんでした。

1954年11月にベルリン・フィルハーモニー管弦楽団の永く首席指揮者であったヴィルヘルム・フルトベングラーが急逝したことを受け、カラヤンは予定されていたアメリカ公演旅行に急遽代役を買って出て、公演旅行は見事に成功に終わります。

このことが契機となって1955年にベルリン・フィルの終身首席指揮者兼芸術総監督に就任、1989年までの34年間この地位にありました。

1956年には永年ウィーンと深い関係を築き上げてきた集大成となるウィーン国立歌劇場の芸術監督に就任。

世界最高峰の二大オーケストラを同時に指導することとなり、この頃から人知れず「音楽界の帝王」と呼ばれるようになります。