Разумеется, поиски решения национальных проблем были не простым делом. В партии шли споры по поводу будущего устройства Советского государства: каким ему быть — унитарным, либо федеративным. После острых дискуссий возобладал федеративный план, который претворять в жизнь выпало на долю Сталина. 30 декабря 1922 года Сталин представил проект договора о создании Союза Советских Социалистических Республик I съезду Советов СССР. В состав СССР вошли РСФСР, Закавказская федерация (Грузия, Азербайджан, Армения), Украина и Белоруссия (в 1924 году были образованы и вошли в состав СССР Узбекская ССР, Туркменская ССР, Киргизская ССР и Казахская ССР). В своем докладе I съезду Советов Сталин сказал: «В истории советской власти сегодняшний день является переломным. Он кладет вехи между старым, уже пройденным периодом, когда советские республики хотя и действовали вместе, но шли врозь, занятые прежде всего вопросом своего существования, и новым, уже открывшимся периодом, когда отдельному существованию советских республик кладется конец, когда республики объединяются в единое союзное государство для успешной борьбы с хозяйственной разрухой, когда советская власть думает уже не только о существовании, но и о том, чтобы развиться в серьезную международную силу, могущую воздействовать на международную обстановку, могущую изменить её в интересах трудящихся».
Сталин подчеркивал, что в новом советском союзном государстве межнациональные отношения должны базироваться на принципах дружбы, братского сотрудничества и взаимопонимания народов и наций. Он особо указывал на необходимость стимулировать экономический и культурный рост наиболее отсталых наций. Выполнение этой задачи, отмечал он, потребует многих лет, а также помощи центра окраинам, русского пролетариата — крестьянским массам слабых наций.
И после создания СССР Сталин по-прежнему уделяет постоянное внимание совершенствованию национальных отношений в многонациональном Советском государстве. По поручению ЦК РКП(б) Сталин подготовил тезисы к XII съезду партии, — состоявшемуся в 1923 году, — «Национальные моменты в партийном и государственном строительстве». Сталин подчеркивает, что пролетариат нашел в советском строе ключ к правильному разрешению национального вопроса, он открыл в нем путь организации устойчивого многонационального государства на началах национального равноправия и добровольности. Вместе с тем, чтобы успешно идти по этому пути, надо преодолеть ряд препятствий, оставленных в наследство периодом национального гнета.
Это наследство состоит, во-первых, в пережитках великодержавного шовинизма, являющегося отражением былого привилегированного положения великорусов. Практически они выражаются в кичливо-пренебрежительном и бездушно-бюрократическом отношении русских советских чиновников к нуждам и потребностям национальных республик. Поэтому решительная борьба с пережитками великорусского шовинизма является первой очередной задачей партии.
Во-вторых, хозяйственное и культурное неравенство национальностей Союза Республик. Правовое национальное равенство, добытое Октябрьской революцией, не решает само по себе всего национального вопроса. Преодолеть фактическое неравенство народов можно лишь путем действительной и длительной помощи русского пролетариата отсталым народам Союза в деле их хозяйственного и культурного преуспевания. Поэтому борьба за ликвидацию фактического неравенства национальностей, борьба за поднятие культурного и хозяйственного уровня отсталых народов является второй очередной задачей партии.
Это наследство состоит, наконец, в пережитках национализма в среде целого ряда народов, прошедших тяжкое иго национального гнета и не успевших ещё освободиться от чувства старых национальных обид.
Поскольку пережитки национализма являются своеобразной формой обороны против великорусского шовинизма, решительная борьба с великорусским шовинизмом представляет вернейшее средство для преодоления националистических пережитков. Поскольку же эти пережитки превращаются в местный шовинизм, направленный против слабых национальных групп в отдельных республиках, прямая борьба с ними является обязанностью членов партии. Это — третья очередная задача нашей партии.
Одним из ярких выражений наследства старого, отмечает Сталин, следует считать тот факт, что значительная часть советских чиновников рассматривает Союз Республик не как союз равных государственных единиц, призванный обеспечить свободное развитие национальных республик, а как начало образования так называемого «единого — неделимого». Это антипролетарская и реакционная позиция.
Высшие органы Союза должны быть построены таким образом, чтобы они полностью отражали не только общие нужды и потребности всех национальностей Союза, но и специальные нужды и потребности отдельных национальностей. Поэтому, наряду с существующими центральными органами Союза, которые являются представительством трудящихся масс всего Союза независимо от национальности, должен быть создан специальный орган представительства национальностей на началах равенства.