В ноябре 1926 возвысившийся после победы над Троцким и Зиновьевым-Каменевым Сталин перевёл старого друга Серго с Кавказа в Москву. Четыре года (1926–1930) Орджоникидзе возглавлял Рабоче-крестьянскую инспекцию и Центральную контрольную комиссию партии. В 1926 он стал кандидатом в члены Политбюро ЦК ВКП(б) (членом без права голоса), но в том же году потерял это звание – видимо, из-за сохранявшейся пока неустойчивости положения Сталина на верху советского Олимпа. Однако в 1930 «Серго» стал полноправным членом Политбюро.
В 1930 г. возглавил ВСНХ СССР, в подчинении которого находилась практически вся промышленность СССР. В 1932 г. ВСНХ был разделен на несколько наркоматов, а Оржоникидзе возглавил важнейший из них – тяжелой промышленности. Это положение было весьма важным, так как второй пятилетний план отдавал развитию тяжелой промышленности безусловный приоритет. Орджоникидзе стал одним из главных организаторов индустриализации в СССР. Он сумел мобилизовать ресурсы страны на создание мощных промышленных предприятий.
Внёс большой вклад в создание и становление авиационной промышленности, научно-исследовательских институтов, сети авиационных вузов. Участвовал в создании советских оборонных обществ (Авиахим, Осоавиахим), в организации перелётов. Орджоникидзе был награждён орденами Ленина, Красного Знамени РСФСР, Трудового Красного Знамени. Как мог работать на этих сложнейших должностях человек, за плечами которого было лишь два класса начальной школы и фельдшерское училище, трудно себе представить.
К 1932 году СССР вышел на 1 место в Европе по валовой продукции промышленности, занимая по этому показателю также 2 место в мире. К 1935 году из второго десятка в мире по объёму производства электроэнергии Советский Союз переместился на третье место. Развитие машиностроения, стремительное становление авиационной промышленности – за всем этим стоял труд Серго Орджоникидзе, о работоспособности и самоотдаче которого ходили легенды.
Обращают на себя внимание тесные отношения Орджоникидзе с Н.И. Бухариным, лидером «правого уклона». Когда последний проиграл во внутрипартийной борьбе и его сняли с высоких партийных постов, то опального идеолога подобрал именно Орджоникидзе. Он устроил Бухарина на место заведующего объединенным научно-исследовательским и технико-пропагандистским сектором наркомата тяжёлой промышленности. Далее Бухарин часто прибегал к помощи Орджоникидзе, чтобы избавить себя от критики чересчур злопамятных партийцев. Во время большой партийной чистки он писал ему письма с просьбой о защите.
Вот, например: «Дорогой Серго. Извини, ради Бога, что я к тебе пристаю. У меня к тебе одна просьба: если меня будут чистить… то приди ко мне на чистку, чтобы она была в твоем присутствии».
В декабре 1936 года на пленуме ЦК Орджоникидзе фактически выступил в защиту Бухарина, подтвердив, что тот плохо отзывался о Пятакове, одном из лидеров «левых» оппозиционеров. После смерти Серго Бухарин скажет: «Теперь надеяться больше не на кого». (Другой лидер «правых» уклонистов А.И. Рыков так вообще упал в обморок).
Могут возразить, что Орджоникидзе просто хотел помочь другу, проявив сочувственное отношение к опальному и уже неопасному политику. Однако было бы неверным считать Бухарина раскаявшимся и сломленным оппозиционером. Судя по всему, он продолжал вести собственную политическую игру даже и после того, как перестал быть членом Политбюро (оставшись в то же время в ЦК, что немаловажно).
Нарастание напряжённости в отношениях со Сталиным произошло после Первого московского процесса, который вызвал волну кадровых чисток прежде всего в экономических наркоматах (так как бывших оппозиционеров не пускали в политику). Под ударом оказалось большое количество сотрудников Орджоникидзе в НКТП, коих Орджоникидзе пытался оградить от безоглядных репрессий.
На февральско-мартовском (1937 год) пленуме ЦК ВКП(б) Орджоникидзе намечался главным докладчиком по вопросу «об уроках вредительства, диверсии и шпионажа японо-немецко-троцкистских агентов». В связи с этим Орджоникидзе провёл ряд совещаний с руководящими хозяйственными работниками и для проверки данных НКВД направил комиссии на «Уралвагонстрой», «Кемеровкомбинатстрой» и на предприятия коксохимической промышленности Донбасса. На основании собранных материалов Орджоникидзе подготовил проект постановления по своему докладу. В проекте не говорилось о размахе вредительства в тяжёлой промышленности, акцент делался на необходимость устранения имевшихся в работе наркомата недостатков. Есть данные, что этот проект был раскритикован Сталиным.
Нельзя пройти и мимо свидетельства масонки Е.Д. Кусковой о выступлении Бухарина перед общественностью в Праге. Тогда, согласно её рассказу, он делал вполне заметные масонские жесты. О многом говорит и письмо эмигранта-масона Б.А. Бахметьева Кусковой от 29 марта 1929 года. В нем он возлагает надежды на приход к власти в СССР лидеров правого уклона, у которого «нет вождей, чего и не требуется: нужно лишь, чтобы история покончила со Сталиным».