Естественно, что в такой обстановке Муавия даже не помышлял о признании власти Али. Более того, в условиях ослабления центральной власти в Халифате он решил взять инициативу в свои руки и расширить сферу своего влияния. Первого серьезного успеха он добился в Египте посредством Амра ибн аль-Аса. Воспользовавшись оппозиционными настроениями части египетского общества, Амр в 38 году хиджры установил контроль над этой провинцией. Этим шагом Муавия заявил о себе уже не просто как о непокорном наместнике Сирии, а как о серьезном политическом сопернике Али. Фактически, Халифат расколся.
С 39 года хиджры Муавия перешел в наступление на близлежащие иракские провинции, подконтрольные халифу Али. Отряд из 2000 бойцов под командованием Нумана ибн Башира был отправлен в Айн ат-Тамр, а шеститысячный отряд под командованием Суфьяна ибн Ауфа вошел в город Анбар, но затем вернулся назад. Даххак ибн Кайс попытался взять Тадмур, но потерпел поражение от войск халифа Али под командованием Хаджара ибн Ади. Кроме того, Муавия отправил Абдуллу ибн Масада аль-Фазари во главе отряда из 1700 бойцов на Тейму. После этих вторжений население Ирака было охвачено паникой.
В 40 году хиджры Муавия предпринял наступление на Хиджаз. Али продолжал терять контроль над целым рядом провинций и сдавал свои позиции. Вначале в Медину вошел посланный наместником Сирии трехтысячный отряд под командованием Бишра ибн Абу Арта. Наместник халифа Абу Айюб аль-Ансари был вынужден оставить город и приехать в Куфу. После этого Бишр двинулся на Мекку и занял ее. Наместник халифа Абу Муса аль-Ашари был низложен, однако его пощадили и сохранили ему жизнь.
Затем армия Муавии двинулась на Йемен, население которого само пригласило его по причине недовольства политикой наместника Убайдуллы ибн Аббаса, назначенного халифом Али. Убайдулла пожаловался Али на то, что местное население нарушает правила торговли, установленные шариатом. В ответ Али призвал население подчиниться закону. В противном случае, он обещал навести там порядок силой. Это не понравилось местной знати, и они решили перейти на сторону Муавии и попросили у него помощи. В результате этих событий, Бишр ибн Абу Арт занял эту провинцию, прибыв в нее из Мекки. Убайдулла ибн Аббас был вынужден бежать в Куфу. После этого войска, подконтрольные халифу Али, во главе с Джарией ибн Кудамой и Вахбом ибн Масудом перешли в контрнаступление и освободили от войск Муавии Йемен, Мекку и Медину. В ходе этой операции они получили известие о трагической гибели Али от рук хариджитского террориста Ибн Мулджама.
Это убийство было местью хариджитов. После поражения при Нахраване они решили отомстить за гибель своих соратников и убить халифа Али. Они считали, что виновниками всех событий, произошедших за последние годы, были также Муавия ибн Абу Суфьян и Амр ибн аль-Ас. Они были уверены, что в случае смерти этих людей стабильность в государстве будет восстановлена. С этой целью они поручили трем террористам убить их во время рассветной молитвы. Абдуррахман ибн Мулджам аль-Муради был отправлен к халифу Али, Мурад ибн Абдулла — к Муавие, а Амр ибн Бакр ат-Тамими — к Амру ибн аль-Асу. Они должны были убить их 17 Рамадана 40 года хиджры. В результате этого заговора халиф Али был тяжело ранен и скончался спустя несколько дней. Муавия получил ранение в ногу, но рана оказалась несмертельной. Наместник Муавии в Египте Амр ибн аль-Ас не явился на рассветную молитву, а послал вместо себя начальника полиции Хариджу ибн Хузафу, которого и убил террорист, приняв его за Амра ибн аль-Аса.
Али не назвал своего преемника и оставил этот вопрос на рассмотрение мусульман. После гибели халифа его сторонники избрали правителем его сына аль-Хасана. Аль-Хасан ибн Али понимал, что расклад сил в государстве складывается не в его пользу. Поэтому он начал вести переговоры с Муавией о передаче власти последнему. В результате Муавия в 41 году хиджры приехал в Куфу. Аль-Хасан передал все свои полномочия новому халифу и вместе со своим братом аль-Хусайном уехал в Медину.
Этим событием завершился период правления Праведных халифов, и государство стало монархическим. Пришедший к власти Муавия основал династию Омейядов, которые оставались у власти почти 100 лет.