Narrated 'Aisha:

Allah's Apostle ﷺ said to me, "Were your people not close to the Pre-lslamic period of ignorance, I would have demolished the Ka'ba and would have rebuilt it on its original foundations laid by Abraham (for Quraish had curtailed its building), and I would have built a back door (too)."

حَدَّثَنَا عُبَيْدُ بْنُ إِسْمَاعِيلَ، حَدَّثَنَا أَبُو أُسَامَةَ، عَنْ هِشَامٍ، عَنْ أَبِيهِ، عَنْ عَائِشَةَ ـ رضى الله عنها ـ قَالَتْ قَالَ لِي رَسُولُ اللَّهِ ﷺ " لَوْلاَ حَدَاثَةُ قَوْمِكِ بِالْكُفْرِ لَنَقَضْتُ الْبَيْتَ ثُمَّ لَبَنَيْتُهُ عَلَى أَسَاسِ إِبْرَاهِيمَ ـ عَلَيْهِ السَّلاَمُ ـ فَإِنَّ قُرَيْشًا اسْتَقْصَرَتْ بِنَاءَهُ ـ وَجَعَلْتُ لَهُ خَلْفًا ". قَالَ أَبُو مُعَاوِيَةَ حَدَّثَنَا هِشَامٌ خَلْفًا يَعْنِي بَابًا.