Abu Hurairah reported the Messenger of Allah ﷺ as saying:
When you tell (your brother on Friday) to be silent while the imam is giving the sermon you are guilty of idle talk.

حَدَّثَنَا الْقَعْنَبِيُّ، عَنْ مَالِكٍ، عَنِ ابْنِ شِهَابٍ، عَنْ سَعِيدٍ، عَنْ أَبِي هُرَيْرَةَ، أَنَّ رَسُولَ اللَّهِ ﷺ قَالَ " إِذَا قُلْتَ أَنْصِتْ وَالإِمَامُ يَخْطُبُ فَقَدْ لَغَوْتَ " .