رويدادها و پيامدهايي كه با رسيدن اسراي آل محمد (ص) به دمشق، پايتخت خاندان بني اميه، به وقوع پيوست در صلاح و مصلحت آل اميه نبود. از اين رو يزيد دستور داد تا آنها را به همراهي نعمان بن بشير به مدينه جدشان بازگردانند. طبري و ديگران در اين زمينه مي نويسد: يزيد بن معاويه، نعمان بن بشير را چنين فرمان داد: به صورتي شايسته آنها را آماده سفر كن و از شاميان مردي امين و شايسته را با سواران و ياراني چند همراهشان نما كه آنها را تا مدينه همراهي كنند.

آنگاه دستور داد تا زنان را در خانه اي جداگانه جاي داده احتياجاتشان را در اخيتارشان نهادند و برادرشان علي بن الحسين را نيز با ايشان همراه نمود.

راوي مي گويد: حرم حسيني به خانه يزيد وارد شدند. در اين هنگام هيچ زني از خاندان معاويه نبود مگر اينكه با گريه و زاري و نوحه و افغان بر حسين به استقبالشان بيرون شد. آنان مدت سه روز در خانه يزيد به ماتم و سوگواري نشستند.

راوي مي گويد: روزي يزيد، عمرو بن الحسن بن علي را، كه پسربچه اي خردسال بود، پيش خواند و با اشاره به فرزندش خالد گفت: با اين پسر كشتي مي گيري؟ عمرو گفت: نه، مگر اينكه به من و او هر كدام يك چاقو بدهي، آن وقت من با او مي جنگم! با شنيدن اين پاسخ يزيد برخاست و عمرو را در آغوش گرفت و گفت: شير را بچه همي ماند بدو. مگر مار، بجز مار مي زايد؟!

چون كاروان اهل بيت عازم حركت شد، يزيد سفارشهاي لازم به فرستاده خود، نعمان بن بشير، كرد. او نيز با ايشان به راه افتاد و مقرر داشت تا كاروان شبها و پيشاپيش ايشان حركت كند تا اينكه لحظه اي از نظر دور نباشند. چون كاروانيان فرود مي آمدند، او و همراهانش از ايشان كناره مي گرفتند و به پاسداري و نگهباني از ايشان در اطراف پراكنده مي شدند. و آنجا كه براي تجديد وضو و يا نيازي ويژه فرود مي آمدند، از ايشان فاصله مي گرفتند، تا مزاحمتي براي آنها فراهم نشود. و اين چنين آنها را در مسير راه فرود مي آوردند و با ملاطفت و دلجويي خواسته هايشان را برآورده مي ساختند.