كان السبب في ذلك أن يزيد لما عزل عمرو بن سعيد وولى الوليد بن عتبة قدم الوليد المدينة فأخذ غلمانًا لعمرو نحوًا من ثلاثمائة فحبسهم فكلمه فيهم عمرو فأبى أن يخليهم فخرج عمرو من المدينة وكتب إلى غلمانه‏:‏ إني باعث إلى كل رجل منكم جملًا وأداته تناخ لكم بالسوق فإذا أتاكم رسولي فاكسروا باب السجن ثم ليقم كل رجل منكم إلى جمله فليركبه ثم أقبلوا ففعل ذلك فقدم على يزيد فرحب به وعاتبه على تقصيره في أشياء يأمره بها في ابن الزبير