カラヤンがウィーン・フィルハーモニー管弦楽団をはじめて指揮したのが1934年8月、翌月の9月にははやくも試験採用中のアーヘン市立劇場でオペラ『フィデリオ』（ベートーベン作）でデビューしています。

その後もアーヘン市立劇場から10月『ワーキューレ』（ワーグナー作）12月『ばらの騎士』（Ｒ.シュトラウス作）と、立て続けにオペラ上演の指揮を任されます。

そして1年の試験採用の後、翌年の1935年にははやくもアーヘン市立劇場・音楽総監督に就任します。翌年の1936年にはカラヤンの名はドイツ全土に鳴り響き、カラヤンは「ドイツで最も若い音楽総監督」と呼ばれるようになります。

そして同年（1936年）カラヤン若干28歳にして『ニュルンベルクのマイスター・ジンガー』（ワーグナー作）で、ベルリン国立歌劇場にデビューすることとなります。

それ以降、ドイツ・オペラの代表的な二人の作曲者、リヒャルト・シュトラウスとリヒャルト・ワーグナーの作品は、オペラに限らずカラヤンにとって生涯を通じての大切な演目となりました。