Sa'id ibn Ubaydah said:

Ibn Umar heard a man swearing: No, I swear by the Ka'bah. Ibn Umar said to him: I heard the Messenger of Allah ﷺ say: He who swears by anyone but Allah is polytheist.

حَدَّثَنَا مُحَمَّدُ بْنُ الْعَلاَءِ، حَدَّثَنَا ابْنُ إِدْرِيسَ، قَالَ سَمِعْتُ الْحَسَنَ بْنَ عُبَيْدِ اللَّهِ، عَنْ سَعْدِ بْنِ عُبَيْدَةَ، قَالَ سَمِعَ ابْنُ عُمَرَ، رَجُلاً يَحْلِفُ لاَ وَالْكَعْبَةِ فَقَالَ لَهُ ابْنُ عُمَرَ إِنِّي سَمِعْتُ رَسُولَ اللَّهِ ﷺ يَقُولُ " مَنْ حَلَفَ بِغَيْرِ اللَّهِ فَقَدْ أَشْرَكَ " .