Такова почва, на которой возникли прямые столкновения Москвы с Литвой при Семене. Иван смоленский перед напором с востока ищет опоры в Литве. Известна его грамота докончальная с Ригой, в которой он присоединяется к договору Гедимина: «докончал есмь по тому докончанью, како то брат мой старейший Кедимин докончал и его дети Глеб и Алкерд». По смерти Гедимина, когда великокняжеская власть в Вильне сосредоточивается в руке Ольгерда и развертывается его энергическая «русская» политика, связь Смоленска с Литвой, видимо, крепнет. 1341 г. отмечен походом Ольгерда на Можайск с целью вернуть его к смоленским волостям; поход неудавшийся. Но в 40-е гг. XIV в. видим смоленские рати в войске Ольгерда против Ливонского ордена. Однако пользы от Литвы было пока мало, а приходилось тратить силы на службу Ольгердовой политике: в Смоленске раскол, выступают люди, враждебные литовской власти, тянущие к Москве. В осторожной, порой уклончивой политике Ольгерда чуется сильное недоверие к Смоленску, как и вообще к подвластной Руси. В 1351 г. Семен Иванович поднялся на Смоленск, но на Протве его встретили полки Ольгерда; характер происшедших переговоров нам неизвестен, но Семен, «взя мир» с Ольгердом, все-таки двинулся к Угре, «хотя ити на Смоленск»; стоял тут восемь дней в переговорах со смоленскими послами, «взя» и с ними мир. В следующие годы видим ряд враждебных Смоленску действий Ольгерда. В 1355 г. он захватил Ржеву, воевал Брянск и полонил сына Василия Ивановича брянского, а в следующем году, по смерти Василия, подчинил Брянск своей власти. Около того же времени – и Орша в руках Литвы, и Белый, через три года и Мстиславль. Кольцом охватили Смоленск волости литовские. Все предвещало его падение. Но еще два князя почти полвека держались в нем – Святослав Иванович (1358–1386 гг.) и сын его Юрий (1386–1404 гг.), лавируя между Литвой и Москвой.
Так великое княжество Московское приняло на себя при великом князе Семене задачу самообороны Великороссии с Запада. Борьба за Смоленск была лишь частичным явлением в этих отношениях, раскинувшихся значительно шире – от Орды до Новгорода, от Твери до Нижнего. В борьбе с Москвой Ольгерд пытался отделить ее от Орды, поднять на нее хана. Известно его посольство 1349 г. к хану Джанибеку «просити помощи на великого князя Семена»; московские связи пересилили, хан выдал Семену посольство, во главе которого стоял брат Ольгерда Кориат-Михаил; с послом своим хан прислал его в Москву, где Семен заключил мир с литовскими послами и отпустил Кориата. Перед Литвой и Ордой Семен Иванович выступает подлинно главой Северо-Восточной Руси. С его согласия и с благословения митрополита Феогноста вышла Константиновна ростовская за Любарта Гедиминовича, а Ульяна Александровна тверская за Ольгерда. Семен – старейшина в князьях русских, глава их семейного союза; ростовская княжна – его сестрична, а Ульяна ему «свесть», сестра жены его Марьи. Но те же браки князей литовских завязывали все большие связи между великими князьями литовскими и областными княжениями Северо-Восточной Руси. За княжича Бориса нижегородского Ольгерд выдал дочь, чуя подъем Нижнего как новой политической силы. Трудно сомневаться, что политический кругозор Ольгерда широко охватывал отношения Северо-Восточной Руси, подготовляя политику Витовта, рассчитывая на недовольство московским засильем.
Тяжелые отношения между Семеном и Великим Новгородом были уже много раз упомянуты. Их плод проявился в 1353 г., по смерти Семена. Незадолго до 1353 г. новгородский владыка Моисей посылал за клобуком в Константинополь, а теперь новгородские послы поддержали в Орде искание стола великокняжеского Константином Васильевичем суздальским, хотя и без успеха. Тогда же зашевелилась Рязань, руководимая предприимчивым боярством: рязанцы захватили Лопасну, удержали ее. В Тверском княжестве кипела внутренняя борьба двух линий – кашинской и холмской. Первая тянула к Москве, и московская рать помогла Василию Михайловичу, зятю Семена московского, вернуть Ржеву, захваченную Ольгердом. Но холмские князья искали опоры в Литве, куда в 1358 г. ушел Всеволод Александрович. Напряженность внутренних отношений Северо-Восточной Руси осложнялась давлением на ее отношения литовской силы, придавая борьбе Москвы за свое преобладание особую значительность. Так, это преобладание выяснилось уже как политическая форма объединения национальных сил Великороссии в борьбе с западным соседом, который рос в силе и влиянии и грозил энергичным наступлением.