از سال ۱۹۹۶ تا ۲۰۰۱، داونی چندین بار با اتهامات مربوط به مواد مخدر از جمله کوکائین، هروئین و ماری‌جوانا بازداشت شد.او چندین بار تصمیم به ترک و درمان اعتیاد به مواد مخدر گرفت اما ناکام بود. داونی در ۱۹۹۹ دربارهٔ مواد مخدر به قاضی گفت: «مثل این است که یک شاتگان در دهانم گذاشته‌ام و انگشتم روی ماشه است ولی من طعم فلز اسلحه را دوست دارم.» او ادعا داشت که اعتیادش از هشت سالگی و با توجه به معتاد بودن پدرش آغاز شده.او موفق شد در سال ۲۰۰۱ مواد مخدر را کنار بگذارد و به زندگی عادی برگردد.