It was narrated from Ibn Umar:

The Prophet used to touch only the Stone and the Yemeni Corner.
Chatper 157. Touching The Two Yemeni Corners

أَخْبَرَنَا إِسْمَاعِيلُ بْنُ مَسْعُودٍ، وَمُحَمَّدُ بْنُ الْمُثَنَّى، قَالاَ حَدَّثَنَا خَالِدٌ، قَالَ حَدَّثَنَا عُبَيْدُ اللَّهِ، عَنْ نَافِعٍ، عَنِ ابْنِ عُمَرَ، أَنَّ رَسُولَ اللَّهِ ﷺ كَانَ لاَ يَسْتَلِمُ إِلاَّ الْحَجَرَ وَالرُّكْنَ الْيَمَانِيَ .