Таким решением патриарха не были удовлетворены ни Роман, ни Ольгерд. Поэтому при поддержке Ольгерда Роман в 1356–1361 гг. утвердился в Киеве. Однако, когда в 1362 г. он умер, митрополия объединилась, все литовские епархии перешли под контроль митрополита Алексия. А это означало, что Москва, как кафедра митрополита, становилась столицей православной Руси, а Дмитрий Иванович, советником которого был сам митрополит Алексий, воспринимается как князь всех православных.
В борьбе за наследство Киевской Руси великие литовские князья кроме церкви, дипломатии и военной силы широко использовали родственные отношения и сепаратистские настроения в некоторых княжествах на Руси.
Поддерживая своего родственника, брата жены — тверского князя Михаила Александровича, Ольгерд провел три похода на Москву в 1368, 1370, 1372 гг., но взять город так и не смог.
Первый раз все усилия литовцев разбились о стены построенного накануне белокаменного Кремля (в то время это была единственная белокаменная крепость в Северо-Восточной Руси, отсюда и термин «Белокаменная Москва»). Простояв три дня у крепости, Ольгерд разграбил окрестности и повернул назад.
Второй раз осада с Кремля была снята при получении Ольгердом известий о подходе к Москве дружин союзных Дмитрию Ивановичу князей. Между ними было подписано перемирие, подкрепленное соглашением о браке князя Владимира Андреевича Серпуховского (двоюродного брата князя Дмитрия Ивановича) с дочерью Ольгерда Еленой. Как пишет летописец: «Хотел Ольгерд дать дочь свою за князя Владимира Андреевича, что и было сделано. Итак помирившись, отошел от Москвы». По другим, данным этот брак был совершен после провала третьего похода литовцев на Москву в 1372 г.
В третий раз передовой отряд Ольгерда был разбит под Любутском (в то время пограничная литовская крепость на берегу Оки, современная Калужская область России). В результате было заключено перемирие, по которому Ольгерд не должен был вмешиваться в дела Твери и Москвы, а Михаил Тверской возвращал «все захваченное в землях Дмитрия». В свою очередь Дмитрий Иванович обязался, что не будет вмешиваться во внутренние дела Тверского княжества, а возникающие противоречия решать с помощью третейского суда.
Однако мир был недолгим. Конфликт между Москвой и Тверью начался летом 1375 г. Правда, на этот раз его инициатором был правитель западной Орды Мамай. В июле 1375 г. он прислал Михаилу Тверскому ханский ярлык на великое владимирское княжение, и тот, разорвав немедленно мирные отношения с Москвой, стал готовиться в поход на Владимир. Но и Дмитрий Иванович не сидел, сложив руки, он собрал союзников и в августе 1375 г. двинулся на Тверь. В этом походе его поддержали примерно 20 князей (данные в источниках разнятся), среди них — суздальско-нижегородский, ростовский, ярославский, серпуховский, белозерский, стародубский, новосильский, тарусский, Оболенский, Городецкий, кашинский, моложский, смоленский, брянский и Новгород. После месячной осады князь Михаил Тверской подписал мирный договор, признав себя «младшим братом» Дмитрия Ивановича, отказался от всяческих притязаний на великое княжество Владимирское и обязался помогать Москве в борьбе с ее врагами.
Одновременно с тверской проблемой решался вопрос и с Рязанью. В декабре 1371 г., используя как предлог спор из-за границ, Дмитрий Иванович направляет свое войско против великого рязанского князя Олега Ивановича, изгоняет его из Рязани и садит там своего союзника князя Владимира Дмитриевича Пронского. Весной 1372 г. князь Олег возвращает себе Рязань, но, признав превосходство Москвы, становится ее временным союзником. Лишь только в 1381 г. под угрозой силы он официально признает себя «младшим братом» князя Дмитрия Ивановича, но в 1385 г. между ними опять произойдет конфликт. В 1387 г. их примирит женитьба сына Олега Ивановича — Федора на дочери Дмитрия Донского — Софии.
Нормализация отношений с Суздальско-Нижегород-ским, Тверским и Рязанским великими княжествами дала возможность Дмитрию Ивановичу начать открытую борьбу с Ордой, отношения с которой были разорваны еще в 1375 г. Как писал летописец: «У князя великого Дмитрия Московского было размирение (разрыв мирных отношений) с татарами и с Мамаем».
В конце зимы 1376 г. московские войска двинулись к союзному Орде волжскому городу Булгару, стоявшему на границе Руси и владений Орды. В марте город сдался и выплатил 5 000 рублей дани московскому князю.
В отместку в августе 1377 г. новый хан Орды Араб-шах Музаффар (Арапша) разгромил русские войска на реке Пьяне и разграбил Нижний Новгород. По одним данным, Араб-шах был самостоятельным ханом восточной Орды. По другим — служил Мамаю, реальному правителю западной Орды и действовал по его приказу.
В июле 1378 г. Нижний Новгород вновь подвергся нападению ордынцев Араб-шаха. Этим же летом против Москвы Мамай направил войска под командованием мурзы Бегича. Как свидетельствуют летописи: «Поганый Мамай, собрав многочисленное войско, послал Бегича ратью на великого князя Дмитрия Ивановича и на всю землю Русскую».