Дело всей жизни Фридриха I Барбароссы близилось к завершению. Его империя протянулась сплошным массивом от Северного моря до границ союзного с ней Сицилийского королевства, от Мааса и Роны на западе и почти до Вислы на востоке. Междоусобные войны в государстве прекратились, и гарантом воли императора служила несокрушимая мощь Швабского герцогства. Однако дряхлевший телом, но сильный духом Барбаросса не помышлял о покое. Возвеличив достоинство Римской империи и власть императора, он обратил теперь все свои помыслы к Святой земле, ради защиты которой от турок новый папа Климент III, избранный в декабре 1187 года, объявил крестовый поход. Фридрих, давно уже разменявший седьмой десяток лет, мог бы, ссылаясь на преклонный возраст, уклониться от участия в нем, уступив дорогу более молодым и здоровым. Но кто же в таком случае, как не он, император, мирской предводитель западного христианства, возглавит столь благое, богоугодное дело?
Всё — и главенствующее положение Фридриха в Германии, Северной Италии и Бургундии, и поступавшие в его распоряжение доходы от имперских и родовых имений, и возрожденная болонскими юристами универсальная имперская идея — выдвигало его на первое место среди возможных предводителей крестового похода. Кроме того, Фридрих был единственным из правителей Запада, кто имел личный опыт участия в крестовом походе. Его, как и короля Конрада III, в свое время вдохновила проповедь освобождения Гроба Господня от неверных, произнесенная Бернаром Клервосским на Рождество 1146 года в Шпейерском соборе. Фридрих вместе с Конрадом III пережил все перипетии Второго крестового похода. Несмотря на имевшееся многочисленное войско, участие блистательного французского рыцарства под водительством короля Людовика VII, дружеское взаимопонимание с византийским императором, этот крестовый поход оказался сплошной чередой досадных неудач.
В ходе долгого марша вдоль берегов Дуная и по балканским провинциям Византии Фридрих изучил проблемы, связанные со снабжением большого рыцарского войска и простых, зачастую невооруженных паломников, а также с поддержанием среди них дисциплины и порядка. Ему была знакома глубоко укоренившаяся вражда между «франками», как звали на Востоке выходцев из Западной Европы, и византийцами, основанная на многочисленных недоразумениях и непонимании друг друга. Он по собственному опыту знал, сколь трудно удержать в узде завистливые отряды немецких паломников, склонных к грабежу, как только они завидят богатые греческие города. Он знал, сколь сильно зависят крестоносцы на пути в Палестину от византийских рынков, от местных проводников и от наличия кораблей. Он оказался свидетелем глубокого унижения короля Конрада, когда в дружественной стране, в византийской столице, тот утратил какое бы то ни было влияние на массу пилигримов, сопровождавших войско, да и на значительную часть самого войска. Фридрих лично пережил поражение немецкого войска при его первом же столкновении с сельджуками в открытом полевом сражении, состоявшемся 25 октября 1147 года при Эскишехире. В его сознании тогда глубоко запечатлелся резкий контраст между неповоротливым и неуправляемым, обремененным массой невооруженных паломников немецким войском и дисциплинированной, боеспособной рыцарской армией Людовика VII.
Фридрих принял участие и в коротком походе в июле 1148 года, когда рыцарское войско трех королей, Конрада III, Людовика VII и Балдуина Иерусалимского, двинулось на Дамаск. Это наступление, предпринятое вопреки совету сирийских магнатов, привело лишь к тому, что вынудило могущественного Нуреддина Алеппского заключить союз с правителем Дамаска, оказавшийся весьма опасным для крестоносцев. Эта угроза сохранялась и в то время, когда короли Конрад и Людовик возвращались домой. Конечным результатом крестового похода, вдохновленного Бернаром Клервосским, явилось глубокое разочарование. Фридрих Швабский вернулся из похода на Восток с дорого доставшимся ему политическим и военным опытом, который теперь и послужил еще одним аргументом в пользу того, чтобы в очередном, Третьем крестовом походе Гогенштауфен стал предводителем.