Дипломный проект города-сада в Останкине (1922 г.) дал молодому архитектору право на поездку в Италию. Гимназическая латынь оживала в архитектурных образах. Гольца восхищали и античные постройки, и работы мастеров Возрождения. В Италии он по-настоящему оценил гений Ф. Брунеллески, которому адресовал впоследствии одну из лучших своих работ — скульптурный двор Изокомбината. И все же его привлекали не только оригиналы, он упивался «списками», прелестью свободных цитат, той восхитительной простотой и вольностью, с которой использовали наследие неизвестные итальянские зодчие XVIII—XIX вв. И отнюдь не искусствоведческим описательством, не академическими дневниками римского пенсионера — легкой и веселой архитектурной прозой стали опубликованные в 1925 г. очерки Гольца «Неаполь сегодня», «На раскопках Помпеи». Семь месяцев путешествия по Италии Гольц считал «вторым этапом своего творческого развития».
Хотя Гольц и узнал все богатство сочетаний, дарованных классикой итальянским городкам, он оставался в те годы футуристом и вхутемасовцем, а значит, вдвойне новатором. Его пребывание в ОСА оказалось кратковременным, но первые значительные работы, выполненные вместе с М. П. Парусниковым и И. Н. Соболевым — Госбанк в Иванове (1927 г.), Госбанк в Минске (1927 г.), прядильная фабрика в Ивантеевке (1929 г.) — принадлежат конструктивизму во всем: от объемов и планов до проектной графики. Оформляющая функцию асимметрия, разнообразные сетки колонн, легкие стены, фасады на грани промышленного предприятия и общественного здания... Но среди ранних проектов есть один, уже несущий многие черты его зрелых работ — проект котельной КиевГРЭС. Он был выполнен Гольцем и Парусниковым в 1929 г. Сугубо утилитарное сооружение (всего лишь машинный зал) превращено в произведение искусства, строгое и эмоциональное одновременно. Главный фасад решен просто и мощно на контрасте двух стеклянных экранов-витрин и тяжелой кирпичной стены, увенчанной карнизом. На заднем фасаде рефреном темы становятся четыре экрана и четыре круглых окна-иллюминатора. В этой работе уживаются два понимания архитектурного организма. Едва ли не к урокам Н. А. Ладовского восходит повышенная, функцией не оправданная эмоциональность простой формы, ясное противопоставление стекла и камня. По-конструктивистски решен задний фасад, где архитектурными деталями выглядят воздухозаборники и дымовые трубы. Но на главном фасаде характерная для конструктивизма игра объемов уступает место симметричному, плоскостному решению стены, строгому и «классическому», о чем напоминает простой карниз. Это первый шаг к архитектурному рисунку на стене, который в разных формах (ордера, рельефа, фрески) охотно использовал Гольц. В чем-то эта работа предвосхищает знаменитую стену-фасад с тремя арками, возведенную А. К. Буровым для московского Дома архитектора.
С 1932 г. началась работа над комплексом зданий изогородка Всекохудожника в Москве (Балтийская ул., 14, и Часовая ул., 28). К 1936 г. были построены скульптурный корпус, литейная, склады, к 1937 г.— здание изоучилища и корпус мастерских. Двор скульптурного корпуса с его изящной аркадой не только дань Италии, гению Брунеллески. Сам замысел двора с периметральными лоджиями предполагает создание особого внутреннего пространства — парка скульптуры, музея, выставки. Несомненно, Гольц адресовался и к тем слепкам — античным и «под античность», которые должны были вскоре заселить двор, создать небывалое разнообразие поз и жестов, взглядов, одежд, серийных повторов, авторских работ. Пространство двора, организуемое помимо архитектуры и этими гипсовыми, алебастровыми, мраморными, бронзовыми мизансценами, становилось живым, постоянно обновлялось. Технологический прием открытого двора (организация освещения, хранение крупных отливок и скульптурного материала) приобрел тонкое, слегка ироническое воплощение города статуй, театра скульптур.