به هر صورت امام (ع) زيارت وداع با خانه ي خدا را انجام داد و به همراه جمعي از ياران و نزديكان و خاندانش كه به گفته ي برخي، مردان آنها هشتاد و دو تن بودند از مكه خارج شد، و همان گونه كه قبلا گفته شد و اهل تاريخ گفته اند عمرو بن سعيد اشدق، كه در آن وقت از طرف يزيد فرماندار مكه بود، دسته اي از سربازان حكومتي را به سركردگي برادرش يحيي بن سعيد به تعقيب آن حضرت فرستاد تا مانع رفتن امام (ع) به سوي عراق گردند ولي پس از درگيري كه ميان آنها و همراهان امام به وقوع پيوست نتوانستند آن حضرت را از رفتن بازدارند و به ناچار به مكه بازگشتند و امام (ع) نيز به راه خود ادامه داد.