Однако далеко не все иракцы были довольны условиями перемирия. После взаимного отвода войск с линии фронта в лагере халифа Али возникли разногласия, и значительная часть его сторонников подняла мятеж и отказалась отойти в Куфу. Они отделились от основной части армии и остановились в местечке Харура. Тем самым они выразили свой протест против перемирия между халифом Али и Муавией. Там они избрали своим руководителем Шибса ибн Риби и превратились в организованную политическую силу. Али отправил к ним двух послов с предложением вернуться и не вносить раскол в его ряды. Однако мятежники потребовали от него немедленного возвращения в Сирию и продолжения войны с Муавией. Опротестовав идею третейского суда, они выступили под лозунгом: «Решение принимает только Аллах». Так в Халифате возникла новая серьезная политическая сила — хариджиты.
Наконец, третейский суд состоялся, однако представитель Муавии Амр ибн аль-Ас и представитель Али Абу Муса аль-Ашари так и не пришли к позитивным результатам и разошлись ни с чем.
После неудачной попытки решить проблему на третейском суде, Али решил возобновить военные действия против Муавии. Однако у него появились проблемы с мятежниками, которые покинули его после Сиффинской битвы. Постепенно они превратились в новый очаг нестабильности и смуты в Халифате. Они проклинали Али ибн Абу Талиба за то, что тот не брал в качестве военных трофеев имущество сражавшихся против него мусульман, не пленил их женщин и детей, согласился на избрание третейского суда при разрешении разногласий между ним и Муавией ибн Абу Суфьяном. Поэтому халиф Али, желая обеспечить себе надежные тылы перед новым походом на Сирию, выступил против них и разгромил их в сражении при Нахраване на западе Ирана. Эта битва состоялась в месяце Сафар 38 года хиджры. Войска халифа Али потеряли убитыми менее десятка человек, тогда как из числа хариджитов спаслось менее десятка. Двое из них бежали в Оман, двое — в Кирман, двое — в Систан, двое — в Аль-Джазиру, один — в Талл Мурун, в Йемен.
После этой победы у Али появились новые проблемы. Большинство погибших мятежников были родом из Куфы, и многие из его сторонников были родственниками убитых. Они начали проявлять недовольство и стали причиной нестабильности в армии. Опасаясь этого, Али решил отложить свою военную кампанию против Сирии на более позднее время.
Необходимо отметить, что разгром хариджитов при Нахраване не решил проблемы ликвидации этой мятежной группировки. Более того, хариджиты стали популярными среди определенной части общества в Халифате. Представители этой группировки проникли во все сферы общественной и политической жизни. Немало их было и в армии самого халифа Али. Постепенно они стали использовать тактику партизанской борьбы, заговоров, совершать террористические и диверсионные акции. Эта проблема превратилась в серьезный дестабилизирующий фактор для многих поколений последующих мусульманских правителей.
Перед халифом Али возникли и другие проблемы. В провинциях Парс и Кирман персидское население, воспользовавшись междоусобицей в Халифате, отказалось платить налог в государственную казну и подняло восстание, изгнав наместника Сахля ибн Хунайфа. Али пришлось отправить туда для наведения порядка Зийада ибн Аби.
Конец правления халифа Али ознаменовался ослаблением центральной власти в государстве. Политическая нестабильность и постоянные потрясения привели к ослаблению его личного авторитета. Осложнилось и экономическое положение. Али стал терять контроль над ситуацией в провинциях и даже над своими ближайшими подданными. Он так и не сумел поручиться поддержкой большей части сподвижников Пророка и общества. Используя это положение, активизировались и внешние враги Халифата. Византия даже попыталась вернуть себе потерянные ранее провинции.
Естественно, что в такой обстановке Муавия даже не помышлял о признании власти Али. Более того, в условиях ослабления центральной власти в Халифате он решил взять инициативу в свои руки и расширить сферу своего влияния. Первого серьезного успеха он добился в Египте посредством Амра ибн аль-Аса. Воспользовавшись оппозиционными настроениями части египетского общества, Амр в 38 году хиджры установил контроль над этой провинцией. Этим шагом Муавия заявил о себе уже не просто как о непокорном наместнике Сирии, а как о серьезном политическом сопернике Али. Фактически, Халифат расколся.
С 39 года хиджры Муавия перешел в наступление на близлежащие иракские провинции, подконтрольные халифу Али. Отряд из 2000 бойцов под командованием Нумана ибн Башира был отправлен в Айн ат-Тамр, а шеститысячный отряд под командованием Суфьяна ибн Ауфа вошел в город Анбар, но затем вернулся назад. Даххак ибн Кайс попытался взять Тадмур, но потерпел поражение от войск халифа Али под командованием Хаджара ибн Ади. Кроме того, Муавия отправил Абдуллу ибн Масада аль-Фазари во главе отряда из 1700 бойцов на Тейму. После этих вторжений население Ирака было охвачено паникой.
В 40 году хиджры Муавия предпринял наступление на Хиджаз. Али продолжал терять контроль над целым рядом провинций и сдавал свои позиции. Вначале в Медину вошел посланный наместником Сирии трехтысячный отряд под командованием Бишра ибн Абу Арта. Наместник халифа Абу Айюб аль-Ансари был вынужден оставить город и приехать в Куфу. После этого Бишр двинулся на Мекку и занял ее. Наместник халифа Абу Муса аль-Ашари был низложен, однако его пощадили и сохранили ему жизнь.
Затем армия Муавии двинулась на Йемен, население которого само пригласило его по причине недовольства политикой наместника Убайдуллы ибн Аббаса, назначенного халифом Али. Убайдулла пожаловался Али на то, что местное население нарушает правила торговли, установленные шариатом. В ответ Али призвал население подчиниться закону. В противном случае, он обещал навести там порядок силой. Это не понравилось местной знати, и они решили перейти на сторону Муавии и попросили у него помощи. В результате этих событий, Бишр ибн Абу Арт занял эту провинцию, прибыв в нее из Мекки. Убайдулла ибн Аббас был вынужден бежать в Куфу. После этого войска, подконтрольные халифу Али, во главе с Джарией ибн Кудамой и Вахбом ибн Масудом перешли в контрнаступление и освободили от войск Муавии Йемен, Мекку и Медину. В ходе этой операции они получили известие о трагической гибели Али от рук хариджитского террориста Ибн Мулджама.
Это убийство было местью хариджитов. После поражения при Нахраване они решили отомстить за гибель своих соратников и убить халифа Али. Они считали, что виновниками всех событий, произошедших за последние годы, были также Муавия ибн Абу Суфьян и Амр ибн аль-Ас. Они были уверены, что в случае смерти этих людей стабильность в государстве будет восстановлена. С этой целью они поручили трем террористам убить их во время рассветной молитвы. Абдуррахман ибн Мулджам аль-Муради был отправлен к халифу Али, Мурад ибн Абдулла — к Муавие, а Амр ибн Бакр ат-Тамими — к Амру ибн аль-Асу. Они должны были убить их 17 Рамадана 40 года хиджры. В результате этого заговора халиф Али был тяжело ранен и скончался спустя несколько дней. Муавия получил ранение в ногу, но рана оказалась несмертельной. Наместник Муавии в Египте Амр ибн аль-Ас не явился на рассветную молитву, а послал вместо себя начальника полиции Хариджу ибн Хузафу, которого и убил террорист, приняв его за Амра ибн аль-Аса.
Али не назвал своего преемника и оставил этот вопрос на рассмотрение мусульман. После гибели халифа его сторонники избрали правителем его сына аль-Хасана. Аль-Хасан ибн Али понимал, что расклад сил в государстве складывается не в его пользу. Поэтому он начал вести переговоры с Муавией о передаче власти последнему. В результате Муавия в 41 году хиджры приехал в Куфу. Аль-Хасан передал все свои полномочия новому халифу и вместе со своим братом аль-Хусайном уехал в Медину.
Этим событием завершился период правления Праведных халифов, и государство стало монархическим. Пришедший к власти Муавия основал династию Омейядов, которые оставались у власти почти 100 лет.
