وي از هواداران و نزديكان يزيد بن معاويه بود. پس از آنكه يزيد - بعد از مرگ پدرش - به خلافت رسيد، عاصم بن ابي صيفي به حضور يزيد رسيد و گفت: «اي اميرمؤمنان! درود و رحمت خدا بر تو باد، به مصيبت از دست دادن خليفه ي خدا دچار شده اي، اما خلافت خدا را به تو داده اند. معاويه در گذشت، خدا گناهانش را ببخشد، پس از او رياست به تو رسيده، براي مصيبت بزرگي كه وارد شده از خدا صبر بخواه و براي موقعيتي كه بخشيده او را سپاسگذار باش.» يزيد گفت: اي ابن صيفي! پيش بيا! او نيز پيش رفت و در نزديكي يزيد نشست و وي ابن صيفي را ملاطفت كرد.