Сложная ситуация сложилась и в Куфе. Ее наместник Абу Муса аль-Ашари был миролюбивым человеком и сразу признал власть Али. Однако в провинции, как и в других областях Халифата, также сформировалась оппозиция халифу Али. Несмотря на настойчивые требования халифа, Абу Муса не стал прибегать к силовым методам в борьбе с оппозицией, и это привело к отставке наместника.
Аналогичная ситуация сложилась и в Мекке. Мединцы, которые вернулись в Мекку после хаджа, узнав об убийстве Усмана, решили отправиться в Басру. К ним присоединились и некоторые мекканцы, в том числе жена Пророка Аиша.
Таким образом, караван, в котором находилось 700 человек, выехал из Мекки в направлении Басры. По пути к нему стали примыкать представители разных племен, и его численность возросла до 3000 человек.
Тем временем Али принял решение силой принудить Сирию к повиновению. Для этого он обратился к народу с призывом добровольно вступить в ряды армии, однако этот призыв был встречен без особого энтузиазма, и халиф не стал принуждать людей к этому. Одновременно Али обратился к наместникам Египта, Куфы и Басры с приказом поддержать его военную экспедицию. Он не искал поддержки у мятежников, убивших Усмана, несмотря на то, что они были довольно сильны и могли оказать ему в этом деле большую поддержку. Это говорит о том, что Али не поддерживал и не имел ничего общего с бунтовщиками.
В это время Али получил известие о продвижении большой группы людей из Мекки в Басру. Он срочно собрал силы и направился в Басру для того, чтобы опередить направляющихся туда мекканцев и примкнувших к ним представителей других племен, но опоздал. К тому времени в Басре сложилось непростое политическое положение. Несмотря на назначение нового наместника Усмана ибн Хунейфа и смещение с должности Абдуллы ибн Амира, далеко не все политические силы признали новую власть. Одни требовали наказать убийц Усмана, другие воздерживались от повиновения халифу Али из соображений собственной безопасности. Положение еще более осложнилось, когда к городу подошел караван из Мекки, и в него тайно проник бывший наместник Абдулла ибн Амир. В этих условиях Усман ибн Хунейф решил предпринять чрезвычайные меры и попытался воспрепятствовать вхождению каравана мекканцев в город. Стороны заняли позиции в местечке Мирбед, однако Усман ибн Хунейф постепенно терял сторонников. В конечном итоге, он был захвачен мятежниками, которые были замешаны в убийстве Усмана, и был выслан из города. Мятежники не были заинтересованы в установлении в городе стабильной власти, опасаясь возмездия за свои преступления. В результате город перешел в руки только что прибывших из Мекки людей, которые в большинстве своем были представлены не мекканцами во главе с Аишой, Тальхой и аз-Зубайром, а примкнувшими к ним по пути бедуинами. Они сразу же учинили расправу над мятежниками, которые участвовали в восстании против халифа Усмана, и почти все они были убиты. Более того, они разослали во все концы Халифата гонцов с призывом последовать их примеру и казнить убийц Усмана. Фактически, они призывали к самосуду над преступниками. Естественно, что подобные действия не принесли положительных результатов и еще больше накалили обстановку. Влиятельные арабские семьи, к которым принадлежали убитые участники восстания против Усмана, были возмущены этими расправами и решили, что они были организованы халифом Али, который не имел к этим событиям никакого отношения и с самого начала опасался такого развития событий. В результате, эти семьи открыто выступили против халифа Али.
В этой ситуации халиф Али срочно отправил своего посла к Аише, Тальхе и Зубайру для проведения переговоров. Он потребовал от них убедить народ в бесперспективности таких действий и призвал к единству, стабильности и укреплению законной власти в Халифате, после чего можно было бы приступить к цивилизованному юридическому преследованию убийц халифа Усмана. Аиша, Тальха и аз-Зубайр полностью согласились с ним и приняли все предложения Али, который подошел к Басре и занял позицию в местечке Зи-Кар. К Али из Басры начали прибывать делегации местных жителей с предложением мира, и он заверил их в том, что в его отряде нет ни одного мятежника. Тогда басрийцы пригласили его лично прибыть в город.
Мятежники, участвовавшие в восстании против Усмана, поняли, что если соглашение между Али, жителями Басры, Аишей, Тальхой и аз-Зубайром вступит в силу, то они очень скоро понесут наказание за свое преступление. Поэтому они вознамерились помешать этому и натравить стороны друг на друга для того, чтобы в очередной раз дестабилизировать положение в Халифате, и это им удалось.
Все началось с того, что ими был спровоцирован обычный бытовой конфликт между несколькими участниками тех событий. Постепенно в этот конфликт втянулось много людей, и началось побоище. Халиф Али сделал все возможное для предотвращения кровопролития, но ситуация уже вышла из-под его контроля. В разгар этих событий ему удалось встретиться с Тальхой и аз-Зубайром. Последний понял всю бесперспективность этого конфликта и отказался от участия в нем. Он покинул место событий, но был предательски убит в результате заговора преступником по имени Ибн Джурмуз. Тальха был тяжело ранен в бою и вскоре скончался. Аише также угрожала опасность, но ее спасли, после чего Али отправил ее на родину.
Эта битва, получившая название Верблюжей, окончилась победой войск халифа Али. Мусульманские историки писали, что с его стороны в бою принимало участие 20000 человек, а с противоположной стороны 30000 человек, и с обеих сторон погибло 15000 человек. Это произошло в месяце Раджаб 36 года хиджры. После этой победы Али оставил в Басре наместником Абдуллу ибн Аббаса и двинулся на непокорную ему Сирию.
Муавия ибн Абу Суфьян был наместником Сирии еще со времен халифа Умара. За все это время он сумел привлечь к себе симпатии жителей провинции, и был очень популярен. Известие об убийстве Усмана вызвало бурю негодования и протестов в Сирии. Народ требовал наказания мятежников и освобождения столицы Медины от них. Спустя некоторое время из Медины поступили сообщения о том, что халифом избран Али. Наряду с этим распространились лживые слухи о том, что ему отказались присягнуть такие видные сподвижники, как Саад ибн Абу Ваккас, Усама ибн Зайд, Мухаммад ибн Маслама, Хассан ибн Сабит, Зайд ибн Сабит и Кааб ибн Малик, и что Тальха и аз-Зубайр присягнули ему под принуждением.
В связи с этим, полной ясности о происходящем в Медине не было. Кроме того, известия, а тем более подробности, доходили из столицы до Сирии почти за месяц. Как следствие, сирийцы полагали, что Али не владеет ситуацией, и что в Медине хозяйничают мятежники, убившие Усмана. Вскоре им стало известно, что значительная часть мединцев отправилась в Мекку, чтобы избежать смуты. Эти обстоятельства, очевидно, привели к тому, что Муавия воздержался от присяги новому халифу, а назначенный халифом Али новый наместник провинции Сахль ибн Хунайф не был допущен в Сирию.
Спустя некоторое время сирийцы узнали о событиях в Басре и Верблюжьей битве. Стало ясно, что достичь стабильности в Халифате пока не удается. Наряду с этим, в различных областях Халифата люди были недовольны тем, что убийцы Усмана оставались на свободе. Возможно, что все это укрепило Муавию в том, что ему не следует признавать власть халифа Али.
Халиф Али двинулся на усмирение непокорной провинции в Раджабе 36 года хиджры. По пути туда он остановился в Куфе и в течение четырех месяцев собирался силами. За это время он отправил к Муавие нескольких послов с предложением присягнуть ему, но ответа от Муавии не последовало. В месяце Зульхиджа Али с иракцами перешел в наступление и вошел в Сирию. Муавия также собрал верные ему силы и выступил против халифа Али. Стороны встретились в местечке Сиффин на берегу Ефрата. Военные действия между ними велись с перерывами в течение нескольких месяцев и вошли в решающую фазу в месяце Сафар 37 года хиджры. В результате сражений армия Муавии оказалась в сложном положении и стала терять свои позиции. Тогда сирийцы нанизали на кончики копий листы Корана и призвали иракцев во главе с халифом Али и аль-Аштаром к миру. Те пошли им навстречу и тоже склонились к мирному решению проблемы.
Стороны приступили к переговорам. Со стороны халифа Али переговоры с Муавией вел аль-Аштар. Наместник Сирии предложил решить вопрос посредством двух третейских судей. Кроме того, Муавия обязался отвести свои силы в направлении Дамаска, а Али должен был вернуться в Куфу. На этом основании было подписано перемирие, которое было единогласно одобрено сирийской стороной.
Однако далеко не все иракцы были довольны условиями перемирия. После взаимного отвода войск с линии фронта в лагере халифа Али возникли разногласия, и значительная часть его сторонников подняла мятеж и отказалась отойти в Куфу. Они отделились от основной части армии и остановились в местечке Харура. Тем самым они выразили свой протест против перемирия между халифом Али и Муавией. Там они избрали своим руководителем Шибса ибн Риби и превратились в организованную политическую силу. Али отправил к ним двух послов с предложением вернуться и не вносить раскол в его ряды. Однако мятежники потребовали от него немедленного возвращения в Сирию и продолжения войны с Муавией. Опротестовав идею третейского суда, они выступили под лозунгом: «Решение принимает только Аллах». Так в Халифате возникла новая серьезная политическая сила — хариджиты.
