عهد إليه أبوه بالخلافة من بعده بعد أن استشار في ذلك وفود الأمصار فبايعه الناس ولم يتخلف عن البيعة إلا نفر قليل من أهل المدينة وهم الحسين بن علي وعبد اللَّه بن الزبير وعبد اللَّه بن عمر.

فلما توفي معاوية لم يكن ليزيد إلا مبايعتهم له فأرسل إلى الوليد بن عتبة بن أبي سفيان أمير المدينة يقول له أما بعد فخذ حسيناً وعبد اللَّه بن عمر وابن الزبير أخذاً ليس فيه رخصة حتى يبايعوا والسلام فلما أتاه نعى معاوية فظع به وكبر عليه فأرسل إلى هؤلاء النفر فأما حسين فجاءه فلما عرض عليه البيعة وأخبره بموت معاوية استرجع وترحم على معاوية وقال أما البيعة فإن مثلي لا يبايع سراً ولا يجتزي بها مني سراً فإذا خرجت إلى الناس ودعوتهم إلى البيعة ودعوتنا معهم كان الأمر واحداً. فقال له الوليد وكان يحب العافية انصرف. وأما ابن الزبير فترك المدينة وذهب إلى مكة وقال إني عائذ بالبيت ولم يكن يصلي بصلاتهم ولا يفيض في الحج بإفاضتهم وكان يقف هو وأصحابه ناحية وخرج من المدينة بعده الحسين بن علي وأخذ معه بنيه وإخوته وبني أخيه إلا محمد بن الحنفية فإنه أبى الخروج معه ونصحه فلم يقبل نصحه.

أما ابن عمر فإنه قال إذا بايع الناس بايعت فتركوه وكانوا لا يتخوفونه ولما بايع الناس بايع هو وابن عباس.