در دوره بعد از اسلام کعبه چهار بار به کلی ویران شده و از نو بنا شدهاست. دو بار اول به سده اول هجری برمیگردد.
تخریب کعبه با سیل ۱۸ سال قبل از هجرت
۱۸ سال قبل از هجرت، سیل کعبه را خراب کرد و قبایل قریش، آن را بازسازی کردند. در زمان نصب حجر الاسود بین آنها اختلاف افتاد، چون هر قبیله ایی میخواست این افتخار نصیب خودش شود. با تدبیر حضرت محمد که ۳۵ سال بیشتر نداشتند، حجر الاسود روی پارچه ایی قرار گرفت، هر کدام از بزرگان قبایل گوشه پارچه را گرفتند و آن را کنار خانه کعبه بردند؛ و خود حضرت محمد حجر الاسود را نصب کرد. کعبه که بازسازی شد به دلیل مشکلات مالی قریش، ابعادش اندکی از کعبه قبلی کوچک شد.
آتش زدن خانه خدا با منجنیقهای سپاه اموی
در سال ۶۳ هجری، در حمله سپاه امویان به فرماندهی حصین بن نمیر، مکه که در اختیار عبدالله بن زبیر بود محاصره شد. سپاه اموی با منجنیق شهر را کوبید که کعبه بر اثر اصابت گلولههای آتشین، تخریب شد و آتش گرفت. یزید چند روز بعد از این حمله درگذشت و سپاه اموی به شام بازگشت. عبدالله بن زبیر، در سال ۶۴ هجری کعبه را که نیمه ویران شده بود، بازسازی کرد.
او ابعاد کعبه را وسیع کرد و حجر اسماعیل را داخل کعبه قرار داد. ورودی در را روی زمین قرارداد و یک در جدید برای مسجد الحرام ساخت تا حاجیان از یک در وارد شوند و از در دیگر بیرون بروند. این شکل کعبه همان شکلی بود که قبل از سیل در زمان قریش وجود داشت.
تخریب کعبه در حمله حجاج بن یوسف
حجاج بن یوسف ثقفی، فرمانده سپاه اموی در سال ۷۳ هجری بعد از محاصره مکه، دستور داد تا شهر را با منجنیق گلوله باران کنند که کعبه هم آسیب دید. حجاج بن یوسف بعد از فتح شهر و کشتن عبدالله بن زبیر به دستور عبدالملک اموی، کارهای اضافهای که عبد الله بن زبیر کرده بود را تخریب کرد و کعبه را به شکل قبل از زمان ابن زبیر ساخت که ابعاد آن هنوز هم به همان شکل باقی مانده است.
حملهٔ ابوطاهر جنّابی به مکه
در سال ۳۱۷ ه.ق حاجیان، بیمزاحمت و آزار قرمطیها به مکه رسیدند. روز هشتم ذی حجه (روز ترویه) ابوطاهر جنابی با ششصد سوار و نهصد پیاده به مکه حمله کرده و اموال حاجیان را غارت و در مسجدالحرام و حتی در خانهٔ کعبه کشتار کرده، قسمتی از اجساد را در چاه زمزم ریختند. درب کعبه و حجرالاسود را از جا کنده به هجر بردند. پوشش کعبه را قطعه قطعه کرده تقسیم نمودند و خانههای (ثروتمندان) مکه را غارت کردند. بنا به گفتهٔ آدام متز: فقرای مکه نیز در غارت شهر مقدس شرکت داشتند و تنها بادیهنشینان بیرون مکه در برابر یورشگران به مقاومت برخاستند.
مسعودی گوید:
ابوطاهر قرمطی (جنابی) سوی مکه رفت و امیر آنجا محمدبن اسماعیل ملقب به ابن مخلب بود. مردان حکومت و عامه از خارج و غیره به جنگ او آمدند، اما از آن پس که نطیف غلام ابن حاج که جزو شحنه مکه بود کشته شد همه گریختند و او هفتم ذی حجه همین سال (۳۱۷ ه) با ششصد سوار و هفتصد پیاده وارد مکه شد و شمشیر در مردم نهاد. در شمار کشتگان و اسیران از اهل شهر و ولایتهای دیگر اختلاف هست. بعضی سی هزار و بعضی کمتر و بیشتر گفتهاند. در دل کوه و درهها و صحراها از تشنگی و سختی آنقدر مردم هلاک شدند که بهشمار نیاید. ابوطاهر درب حرم را که پوشش طلا داشت از جا بکند و تخریبات جد به بنای کعبه وارد آورد. اقامت آنان در مکه هشت روز بود که صبح شنبه از همین ماه از مکه به همراه کاروانی از اموال غارت شده و حجرالاسود و … از مکه خارج شدند.