به نقل از Welt am Sonntag، در سال 2004، هیتسفلد پس از 4 قهرمانی بوندس لیگا و یک مقام اولی در لیگ قهرمانان به همراه بایرن، گزینه شماره یک ژرمن ها برای هدایت مانشافت شناخته می شد. با این حال، او پس از مذاکراتش با فدراسیون فوتبال آلمان، به دلیل خستگی، هدایت تیم ملی را رد کرده است: "بعد از 6 سال حضور در بایرن، خیلی خسته بودم."
سرمربی سابق دورتموند همچنین اشاره کرده بعد از دوره اول حضورش در بایرن، که با فصلی بدون جام در سال 2004 به پایان رسید، از فوتبال زده شده بوده و اشتیاق سابق را نداشته است. او پس از آن، دو و نیم سال از فوتبال فاصله گرفت:
"وقتی برنده بازی ها می شدیم با خودم می گفتم 'حداقل بازنده نشده ای.' لذت، آدرنالین و انگیزه در این ورزش بسیار مهم اند و برای همین کاملا مشخص بود که من چیزی کم دارم. واقعا نمی توانستم خود را وارد چالش هدایت تیم ملی آلمان کنم. هیچ گونه انرژی ای نداشتم و وقتی سلامت تان کامل نباشد، نمی توانید بهترین عملکرد خود را بروز دهید."
هیتسفلد بعدها دوباره برای 18 ماه بر مسند هدایت بایرن نشست و قبل از بازنشستگی اش در جریان جام جهانی 2014، شش سال سرمربی تیم ملی سوئیس بود.