وي از هواداران و نزديکان يزيد بن معاويه بود. پس از آنکه يزيد - بعد از مرگ پدرش - به خلافت رسيد، عاصم بن ابي صيفي به حضور يزيد رسيد و گفت: «اي اميرمؤمنان! درود و رحمت خدا بر تو باد، به مصيبت از دست دادن خليفه ي خدا دچار شده اي، اما خلافت خدا را به تو داده اند. معاويه در گذشت، خدا گناهانش را ببخشد، پس از او رياست به تو رسيده، براي مصيبت بزرگي که وارد شده از خدا صبر بخواه و براي موقعيتي که بخشيده او را سپاسگذار باش.» يزيد گفت: اي ابن صيفي! پيش بيا! او نيز پيش رفت و در نزديکي يزيد نشست و وي ابن صيفي را ملاطفت کرد.