В ходе долгого марша вдоль берегов Дуная и по балканским провинциям Византии Фридрих изучил проблемы, связанные со снабжением большого рыцарского войска и простых, зачастую невооруженных паломников, а также с поддержанием среди них дисциплины и порядка. Ему была знакома глубоко укоренившаяся вражда между «франками», как звали на Востоке выходцев из Западной Европы, и византийцами, основанная на многочисленных недоразумениях и непонимании друг друга. Он по собственному опыту знал, сколь трудно удержать в узде завистливые отряды немецких паломников, склонных к грабежу, как только они завидят богатые греческие города. Он знал, сколь сильно зависят крестоносцы на пути в Палестину от византийских рынков, от местных проводников и от наличия кораблей. Он оказался свидетелем глубокого унижения короля Конрада, когда в дружественной стране, в византийской столице, тот утратил какое бы то ни было влияние на массу пилигримов, сопровождавших войско, да и на значительную часть самого войска. Фридрих лично пережил поражение немецкого войска при его первом же столкновении с сельджуками в открытом полевом сражении, состоявшемся 25 октября 1147 года при Эскишехире. В его сознании тогда глубоко запечатлелся резкий контраст между неповоротливым и неуправляемым, обремененным массой невооруженных паломников немецким войском и дисциплинированной, боеспособной рыцарской армией Людовика VII.
Фридрих принял участие и в коротком походе в июле 1148 года, когда рыцарское войско трех королей, Конрада III, Людовика VII и Балдуина Иерусалимского, двинулось на Дамаск. Это наступление, предпринятое вопреки совету сирийских магнатов, привело лишь к тому, что вынудило могущественного Нуреддина Алеппского заключить союз с правителем Дамаска, оказавшийся весьма опасным для крестоносцев. Эта угроза сохранялась и в то время, когда короли Конрад и Людовик возвращались домой. Конечным результатом крестового похода, вдохновленного Бернаром Клервосским, явилось глубокое разочарование. Фридрих Швабский вернулся из похода на Восток с дорого доставшимся ему политическим и военным опытом, который теперь и послужил еще одним аргументом в пользу того, чтобы в очередном, Третьем крестовом походе Гогенштауфен стал предводителем.
Фридрих созвал своих вассалов на хофтаг в Майнц, открытие которого намечалось на 27 марта 1188 года. Князья съезжались словно бы не на собрание, созванное императором, а на «хофтаг Иисуса Христа» — так Фридрих пожелал назвать этот съезд, дабы не оставалось ни малейших сомнений относительно его целей. Не император (Барбаросса смиренно сложил с себя эту функцию), а сам Спаситель должен был председательствовать на этом собрании, незримо присутствуя и будто бы восседая на остававшемся незанятом троне. Как и четыре года назад, помимо ленников Фридриха, в Майнц прибыло множество духовных и светских князей. Явились почти все главные вассалы императора — имперские князья. Собравшиеся преисполнились возвышенно-торжественного настроения, резко контрастировавшего с весельем, царившим здесь в 1184 году. Собрание открыл Генрих, епископ Альбано, зачитавший послание папы с призывом отправиться в крестовый поход. Затем епископ Готфрид Вюрцбургский, рейхсканцлер, выступил с проникновенной речью, никого не оставившей равнодушным. Все как один приняли крест. Сам император, его старший сын герцог Фридрих Швабский, множество епископов, князей и прочей знати потребовали от Готфрида Вюрцбургского осенить их знаком креста. Некогда рыжеволосый Барбаросса, превратившийся в седовласого старика, также принял крест. Его примеру последовали короли Англии и Франции.
Здесь же, в Майнце, Барбаросса, учитывая печальный опыт похода 1147 года, сделал важнейшие распоряжения относительно нового крестового похода. Его участниками могли стать лишь опытные в военном деле, имеющие полное боевое снаряжение и средства содержать себя в течение двух лет рыцари. Многие из них вынуждены были занимать деньги у церкви, отдавая ей в залог свою землю. Этот крестовый поход должен был стать исключительно делом обеспеченных рыцарей, их оруженосцев и слуг. Император лично вникал во все мелочи, связанные с подготовкой, вплоть до цен на продовольствие и фураж.
Тогда как английские крестоносцы под командованием наследника престола Ричарда Львиное Сердце и французские во главе со своим королем Филиппом II Августом решили добираться морским путем, Фридрих выбрал долгий и трудный маршрут через Венгрию, Сербию, византийские провинции, Иконийский султанат, Армению и Киликию, поскольку не хотел допустить раздробления своего войска, что было бы неизбежно при морском путешествии. Ходили слухи, что он предпочел путь по суше, узнав о пророчестве, будто ему суждено утонуть во время этого крестового похода… В Тире, на западном побережье Палестины, все крестоносные отряды должны были соединиться и под общим командованием Барбароссы двинуться на Иерусалим.
Готфрид Вюрцбургский и многие другие из окружения императора также рекомендовали морской путь как более легкий. На кельнских верфях уже были построены четыре больших судна, способных доставить в Святую землю несколько сот людей, лошадей, оружие и провиант. В целом путь по морю потребовал бы меньших финансовых затрат. Однако с кельнцами, от которых зависело обеспечение крестоносцев флотом, у императора были натянутые отношения; они отправились отдельно от Фридриха, присоединившись к участникам с Нижнего Рейна и из Бремена. Кроме того, император полагался на собственное знание сухопутного маршрута и способов преодоления связанных с ним трудностей. Лучше будет, рассуждал он, сделать ставку на свои силы и осмотрительность, нежели подвергаться непредсказуемому риску морского путешествия. Высказывалось также и опасение, что к моменту прибытия флота в Сирию все портовые города уже могут быть захвачены сельджуками. Крестоносное войско должно было выступить в поход из Регенсбурга 23 апреля 1189 года, в День святого Георгия, считавшегося покровителем крестоносцев.
Фридрих отвел целый год на приготовления, включавшие в себя широкую дипломатическую подготовку крестового похода, дабы избежать нежелательных трений и потерь на пути в Святую землю. Было отправлено несколько посольств. По рыцарскому обычаю, от султана Саладина сперва потребовали освободить Святую землю, возвратить захваченное в качестве трофея копье Христа (Священное копье) и выпустить из неволи захваченных в плен христиан. Если он откажется выполнить предъявленные требования, то ему объявлялась война. С этой целью к Саладину был направлен во главе посольства граф Генрих фон Диц. Прямо с Майнцского хофтага архиепископ Конрад Майнцский отправился к королю Венгрии Беле, чтобы вести с ним переговоры о мирном прохождении через его владения и договориться о снабжении крестоносцев. Король дружески принял посольство, пообещав крестоносцам всяческую поддержку. Фридрих, очевидно, знал о натянутых отношениях между Саладином и правителем Иконийского султаната Килич Арсланом, поскольку ко двору последнего также отправилось посольство для ведения переговоров о мирном прохождении и снабжении. Тогда же был установлен контакт и с Леоном II, правителем армянского государства в горах Тавра. Предметом переговоров было оказание поддержки крестоносцам. Сам папа Климент III обратился к Леону II и армянскому патриарху Григорию VII с просьбой о помощи святому воинству.