Выход из ситуации Ольгерд видел в назначении отдельного от Москвы митрополита. Поэтому он просил у патриарха митрополита для Литвы, Киева, Смоленска, Твери, Малой Руси, Новосила и Нижнего Новгорода. Но патриарх был заинтересован в религиозном единстве Руси. К Ольгерду был послан иеромонах Киприан Цамблак с целью уговорить его подчинить духовной власти Алексия, митрополита «всея Руси», свои владения. Ольгерд не принял предложения патриарха.
Но по-прежнему главным врагом Великого Княжества Литовского был Орден. Почти каждый год крестоносцы совершали грабительские походы на Литву. В 1362 году крестоносцы захватили и разрушили Ковно — центр оборонительной системы на среднем Немане. Кейстут восстановил крепость, но крестоносцы вновь разрушили ее. Натиск Ордена не ослабевал. Орденские хроники пишут не о славных подвигах рыцарей, не об их миссионерской жертвенности, а о разбоях: «разоряли, жгли, уводили многих в плен, убивали много людей». Мелкими нападениями в ответ нельзя было остановить разбойничью агрессию Ордена. Кейстут и Ольгерд задумали большой поход в Пруссию.
Вот что об этом походе пишет орденский хронист Вартберг: «Когда в ту же зиму (1370 г.) распространился слух о союзе литвинов и русинов с другими союзными народами, великий магистр послал главного маршала на разведку. Последний застал их в Сретение (2 февраля) врасплох и разбил их наголову, причем в плен было взято 220 человек. Но пленные сообщили ему верное известие о сборе большого литовского войска. Только одну ночь оставался он там и возвратился тотчас же к великому магистру, который вследствие этого собрал тотчас же в Кенигсберге земское ополчение из братьев и туземцев тех земель, однако не все, так как ему было неизвестно, когда и где литвины вторгнутся в страну. Они же пришли со всей силой со многими тысячами в воскресенье Exurge domine, которое пришлось на 17 февраля, ранним утром в землю самаитов (жемайтов) к замку Рудову (теперь село Мельниково в Калининградской области).
В полдень против них вышли великий магистр и главный маршал, и произошла битва, в которой пало около 5500 храбрых мужей; большею частью русинов, не считая тех, кои, рассеявшись по пустыне, погибли от холода».
Вартберг приписал победу Ордену, но признал, что погибли великий маршал Геннинг фон Шинденкопф, великий командор, 4 командора, 26 орденских рыцарей, граф Арнольд Лореттский и около 300 воинов, хотя потери крестоносцев доходили до 5000 человек. Но орденские хронисты не фиксировали потери в вспомогательных отрядах ополченцев и прибывших из Европы гостей. Поэтому получалось, что Орден в боях с литвинами нес минимальные потери. Даже такая простоватая ложь годилась для войны с литвинами, которых Орден всегда в хрониках побеждал, но никак не мог победить и завоевать. Поэтому крестоносцы методично продолжали набеги на Литву и Жемайтию.
А Ольгерд пошел на помощь Любарту, они отвоевали Волынь у Польского Королевства. Кейстут вынужден был обходиться своими силами. Но их, видимо, не хватало. Попытка Ольгерда и Кейстута на переговорах 1 ноября 1372 года с великим магистром Винрихом Книпроде заключить мир сорвалась. Обе стороны договорились лишь об обмене пленными. Орден не собирался мириться. В феврале 1373 года ливонский магистр Вильгельм Вримерсгеймский разорил земли между верхним течением рек Свенты и Вилии. Неожиданно в роли примирителя выступил папа Григорий XI. Папа обещал прислать миссионеров и посредников для заключения мира Литвы с Орденом и другими христианскими странами. Предложение осталось без ответа. Вероятно, Ольгерд не верил в прочный мир с исконными врагами и не тратил зря время на пустые разговоры, он был занят другими делами.
В 1372 году Ольгерд вновь ходил на Москву на помощь тверскому князю Михаилу Александровичу. В первом же бою около Любутска московское войско разбило передовой Ольгердов полк, что и определило ход действий. Ольгерд проявил осторожность. Несколько дней разделенные глубоким оврагом войска простояли в бездействии. Наконец 31 июля было заключено перемирие до 26 октября. Ольгерд обещал Дмитрию Ивановичу, что Михаил Тверской вернет Москве все захваченные им города, и отказывался помогать ему дальше, чем выдал его на расправу. В 1375 году Тверь пала, взятая московскими полками. Надо думать, если б не угроза тевтонского вторжения, Ольгерд более решительно вел бы себя с Москвой. Но теперь он решил не рисковать, а сосредоточить силы для отпора Ордену. Тверь была принесена в жертву Москве.