Свердлов всей душой ненавидел буржуазный национализм. В записке своему другу, известному большевику Ф. А. Сергееву (Артему) он писал: «Дорогой Артем! Пишу это только тебе. Порою жутко делается от волны самостийности, катящейся и с Украины, и с Латвии, и с Эстляндии, и с Белоруссии и т. д. Не допускай этой штуки. Следи во все глаза». Об этом же говорил Свердлов 2 февраля 1919 года в Минске на заседании Центрального бюро Коммунистической партии Белоруссии: «…мотивом создания единой Белорусско-Литовской республики является стремление ЦК РКП (б) обезопасить эти республики от возможности проявления в них нацйонально-шовинистических настроений».
На I Всебелорусском съезде Советов Свердлов огласил постановление ВЦИКа о признании независимости БССР и о готовности РСФСР оказать всяческую помощь белорусскому народу. «Так, и только так должны относиться трудящиеся всех стран к вопросу о национальном самоопределений, — заявил Свердлов. — Никто не должен забывать о необходимости Тесной спайки, достигнутой нами путем совместной дружной работы всех революционных сил русского пролетариата и крестьянства. Русский пролетариат никогда не забудет того, что вы первыми приняли на себя удар и натиск германского империализма, остановив его продвижение в глубь страны». Съезд Советов Белоруссии провозгласил образование Белорусской ССР и принял решение об объединении советских республик Белоруссии и Литвы. Такое же решение принял съезд Советов Литвы, открывшийся 18 февраля в древнем Вильнюсе.
Огромное значение придавали Ленин, Центральный Комитет партии быстрейшему освобождению и восстановлению Советской власти на Украине. Отдавал этому делу свою энергию и опыт Яков Михайлович.
В октябре 1918 года Свердлов принял участие в работе II съезда Коммунистической партии (большевиков) Украины, проходившего в Москве. В связи со съездом коммунистов Украины по решению Московского комитета партии состоялся ряд крупных рабочих митингов, на которых выступили Я. М. Свердлов, Г. И. Петровский, Е. М. Ярославский, А. М. Коллонтай, Н. В. Крыленко. На митингах выступали также делегаты съезда. 16 октября, накануне открытия съезда, Ленин провел совещание с делегатами. ЦК РКП (б) направил на съезд Свердлова. Съезд проходил в весьма сложной и напряженной обстановке. Выступление Свердлова способствовало сплочению делегатов вокруг ленинской программы восстановления Советской власти на Украине и помогло преодолению разногласий.
В соответствии с духом указаний Ленина II съезд КП(б)У определил задачи борьбы за освобождение украинского народа. «Общей задачей этой борьбы, — говорилось в резолюции, — является объединение Советской Украины с Советской Россией, которое одно только в состоянии обеспечить украинским трудящимся массам полную свободу национального и культурного развития».
Центральный Комитет РКП (б), Советское правительство РСФСР оказывали огромную помощь братскому украинскому народу. Я. М. Свердлов по поручению ЦК направил на Украину сотни партийных работников. Только за декабрь 1918 — январь 1919 года на Украину были направлены 437 партийных работников. Советской Украине были предоставлены крупные ассигнования на восстановление промышленности и транспорта, на приобретение промышленных и продовольственных товаров.
В конце февраля 1919 года Свердлов выехал в Харьков для участия в работе III съезда КП(б)У и III съезда Советов Украины. Это был первый съезд большевиков Украины, который проводился на освобожденной украинской земле, в условиях, когда КП(б)У стала правящей партией.
Укрепление Советской власти на Украине должно было оказать влияние на решение внутренних и внешнеполитических задач всех советских республик. Между тем этому мешала непрекращавшаяся групповая борьба внутри руководящих партийных центров Украины. Вот почему Центральный Комитет партии направил на Украину Свердлова.
Свердлов не примирял, не сглаживал разногласия, а боролся за укрепление единства коммунистов Украины на принципиальной основе. В своих выступлениях на III съезде КП(б)У он указал на то, что Центральный Комитет партии во многом не согласен ни с «левыми», ни с «правыми» в КП(б)У. Свердлов отметил необходимость единства для успешного государственного и партийного строительства на Украине. Без единства в партии, говорил Свердлов, «мы не можем поставить сколько-нибудь правильно ни одно из советских и государственных учреждений…». Красной нитью в выступлениях Свердлова проходила мысль, что основа всех успехов Советского государства — сплочение коммунистов вокруг ленинского Центрального Комитета партии.