ثمّ ثلّث يزيد بغزو الكعبة، فأمر مسلم بن عقبة بقصدها وغزوها بعد فراغه من أمر المدينة. فتوجّه مسلم إليها وكان عبد الله بن الزبير بها، وقد دعا إلى نفسه وتبعه أهل مكّة، فمات مسلم في الطريق واستخلف على الجيش رجلا كان يزيد أوصاه بتأميره إن هلك. فمضى بالجيش إلى مكّة وحصرها، وبرز ابن الزبير إليه في أهل مكّة ونشبت الحرب، وقال راجز أهل الشأم:
خطّارة مثل الفنيق المزبد يرمى بها أعواد هذا المسجد
(رجز) وهم في ذلك إذ ورد نعي يزيد فرجعوا.