Созданная Политбюро ЦК РКП(б) комиссия, некоторые партийные лидеры Украины (например, В. П. Затонский и Д. 3. Мануильский), центральные комитеты компартий Азербайджана и Армении поддержали сталинский план. Однако лидеры компартии Грузии и глава правительства Украины X. Г. Раковский выступили резко против. Особенную остроту дискуссии придал конфликт между закавказским партийным руководством во главе с К. Орджоникидзе и грузинскими коммунистами во главе с Б. Мдивани. Дошло до рукоприкладства. Сталин в этом конфликте встал на сторону Орджоникидзе. Грузия, Армения и Азербайджан остались в составе Закавказской федерации.
Вопрос о форме союза не был по-настоящему принципиальным, так как реальная власть принадлежала партии, а она была централизованной в масштабах всей советской системы. Вместе с тем Ленин решил, что для предотвращения роста националистических настроений коммунистической власти необходимо сохранить союз советских республик. Россия должна была войти в этот союз на общих основаниях. Коммунисты не сомневались, что в будущем произойдет мировая революция и в Советский Союз войдут новые республики — Германия, Франция, Америка. Их было бы неудобно включать в состав России на правах автономий. Точка зрения Ленина возобладала.
26 декабря в Москве был созван X Всероссийский съезд Советов. 30 декабря он переименовал себя в I Всесоюзный съезд Советов и в этом качестве утвердил Декларацию и Договор об образовании нового государства — Союза Советских Социалистических Республик (СССР). Первоначально в него вошли Российская Советская Федеративная Социалистическая Республика (РСФСР), Закавказская Советская Федеративная Социалистическая Республика (ЗСФСР), Украинская Советская Социалистическая Республика (УССР) и Белорусская Советская Социалистическая Республика (БССР).
За республиками было оставлено право выхода из Союза, что соответствует принципам не федерации, а конфедерации. С другой стороны, учреждение объединенных наркоматов открывало возможности для фактического превращения СССР в унитарное государство.
В состав РСФСР и ЗСФСР вошло несколько автономных республик, некоторые из них затем были преобразованы в союзные республики. В 1936 г. ЗСФСР была разделена на три республики, из которых первоначально была составлена.
Большая часть Средней Азии вошла в Туркестанскую АССР. Сохранялись Хорезмская и Бухарская Народные Советские Республики, формально находившиеся в союзных отношениях с РСФСР. К северу от Туркестана располагалась Киргизская (с 1925 г. — Казахская) АССР. К 1924 г. в Средней Азии басмачество в основном было разгромлено. В 1924–1925 гг. проведено национально-государственное размежевание, по которому на месте Туркестанской АССР, Бухарской и Хорезмской республик образовывались Узбекская и Туркменская ССР, Кара-Киргизская автономная область (АО) в составе РСФСР (с 1926 г. — Киргизская АССР, с 1936 г. — ССР), Таджикская АССР в составе Узбекской АССР (с 1929 г. — ССР). В 1936 г. и Казахстан получил статус ССР. В 1936 г. Каракалпакская АССР (преобразована из АО в 1932 г.) была передана Узбекистану.
При проведении территориальных размежеваний центр руководствовался экономическими соображениями и рекомендациями наиболее влиятельных партийных национальных групп, а не мнением населения, которое было перемешано в национальном отношении. Советская политика в этот период предполагала национальную консолидацию в рамках республик (что сказалось, например, в политике украинизации в УССР).
В 1923 г. в РСФСР входило 11 автономных республик, 14 автономных областей, 63 губернии и области. В 1924 г. с упразднением Горской АССР создаются Северо-Осетинская и Ингушская автономные области. В 1925 г. Чувашская автономная область была преобразована в Чувашскую АССР.
Для народов Севера также стали создаваться национальные округа. Первый такой округ, Коми-Пермяцкий, был учрежден в 1925 г.
В 1926 г. из Карачаево-Черкесской автономной области выделился Черкесский национальный округ, преобразованный в 1928 г. в Черкесскую автономную область в составе Ставропольского края.
В 1928 г. создается Мордовский округ в составе Средне-Волжского края.
В январе 1924 г. была принята Конституция СССР, повторившая Декларацию и Договор об образовании СССР. Конституция 1924 г. сохраняла принципы, заложенные в Конституции РСФСР 1918 г.
В 1928–1929 гг. в России была проведена реформа административного деления: губернии, уезды и волости были заменены областями (а также краями, статус которых практически соответствовал областному) и районами. Статус автономных республик и автономных областей соответствовал областному. В 1930 г. в составе некоторых областей и краев были образованы восемь национальных округов малочисленных народов Севера. В 1931 г. в РСФСР было 14 краев и областей, 11 автономных республик, 14 автономных областей. Затем количество областей росло, а некоторые автономные области преобразовывались в автономные и даже союзные республики.
В 1924 г. ряд уездов РСФСР были переданы БССР, что увеличило территорию Белоруссии более чем в два раза.