فردوست از دوستان بسیار نزدیک محمدرضا پهلوی در کتابش درباره خسروانی می نویسد: « پرویز خسروانی زمانی که دانشجوی دانشکده افسری بود، خود و خانواده اش بی پول بودند. وی در این زمان به دنبال زن پولداری بود که توسط او وضعش را روبه راه کند، تا بالاخره دختری پولدار از یک خانواده بهایی به نام نعیمی پیدا کرد. پدر دختر از بزرگان فرقه بهایی و بسیار متمول بود و در یک باغ 5هزار متری با ساختمان مجلل سکونت داشتند. پرویز هرروز عصر با دوچرخه از دانشکده افسری راه می افتاد و به عنوان تمرین دوچرخه سواری از مقابل خانه دختر می گذشت و نامه عاشقانه رد می کرد. خانواده دختر با ازدواج این دو مخالف بودند، ولی به علت سماجت پرویز این ازدواج انجام شد و ایشان به عنواندامادسرخانه به باغ دختر کوچید!
پدر دختر در جوار خانه خود، خانه ای ساخت که خسروانی و زنش در آنجا زندگی می کردند. این خانه در کنار بلوار واقع بود و بعدها به اداره نظام وظیفه اجاره داده شد و خسروانی و زنش در الهیه، خانه مجلل با محوطه پنجهزار متری درست کردند. پس از فوت پدر دختر، ارث هنگفتی به زن خسروانی رسید و صاحب چندین باغ و خانه در ونک و چندین ویلا در جنوب فرانسه و آپارتمان های متعدد در پیچ یوسف آباد و مجتمع سامان و غیره شد. خسروانی در زمان مصدق باشگاه ورزشی تاج را داشت و در آن تعداد زیادی از ورزشکاران و باج بگیران سرشناس تهران (مانند شعبان بی مخ) را جمع کرده بود. او هر طرف که باد می آمد بدان سو می رفت.
در زمان مصدق (اگر اشتباه نکنم در 30 تیر) ورزشکاران را به خیابان ریخته و به نفع مصدق شعار می داد، ولی چندی بعد در 28 مرداد توسط اشرف اجیر شد و همین ورزشکاران را به خیابان ریخت و علیه مصدق و به نفع محمدرضا شاه شعار داد. پس از 28 مرداد، خسروانی و باشگاه تاجش به بلای جان مردم تبدیل شد. او راه می افتاد و هر جا که زمین شهری مرغوبی می دید به مالک آن مراجعه می کرد اگر طرف حاضر می شد زمین را به او واگذار کند فبها، وگرنه یک جوخه ژاندارم می رفت و یک پرچم سلطنتی را در وسط زمین فرومی کرد و خسروانی صاحب زمین را تهدید می کرد که زمین برای شاهنشاه است! طرف مسلماً تسلیم می شد و زمین را واگذار می کرد. سند به نام خسروانی، زن یا دو دخترش صادر می شد. خسروانی علاوه بر باشگاه های ورزشی تاج، به تدریجتأسیسات ورزشی دیگری تأسیس کرده بود که بسیار مدرن بود. یکی از این تأسیسات در خیابان بخارست و دیگری حوالی ونک بود، که ساختمان مجللی با بیش از 10 زمین تنیس در محوطه ای حدود 10هزارمترمربع بود. به علاوه، در آنکارا (ترکیه) نیز تأسیسات ورزشی مهمی احداث کرده بود، که سند به نام خودش بود.»
ماجرای خسروانی که در سال 1324 ابتدا باشگاه دوچرخه سواران را راه انداخت و بعد با بالا رفتن سمتش در دربار پهلوی، دوستی با سپهبد خاتم و برای توسعه این تیم ورزشی و استفاده از رانت های دولتی، نام باشگاه را به تاج تغییر داد و توانست املاک و دارایی های این باشگاه را افزایش دهد.
شادروان مرتضی احمدی که سال های سال قبل در نازی آباد تهران با پرویز خسروانی همسایه بودند، در بخشی از خاطراتش که در گفت وگوی سال 1389 در خبر آنلاینمنتشرشده بود درباره خسروانی گفته بود: «من پرسپولیسی بودم و هیچ وقت از او خوشم نمی آمد. تازه ما بچه محل بودیم و از قدیم هم باهم دعوا داشتیم. با دوچرخه اشمی آمد در محله ما و جلوی خانه یک دختری می ایستاد. یک باردعوایمان شد و سیلی محکمی در گوشش زدم. ولی به هرحال تیم خوبی ساخته بود.» منبع