Молодой студент все больше задумывался над путями развития современной архитектуры. Он внимательно следил за тем, что происходило в европейской архитектуре, увлекался модерном, в котором его интересовали поиски нового стиля и стремление художественно осмыслить новые металлические конструкции.
Кончились годы учения, и в 1914 г. М. Я. Гинзбург с дипломом художника-архитектора возвратился на родину. Вскоре он обнаружил, что, несмотря на хорошую художественную подготовку, полученную в Миланской академии, ему не хватает технических знаний, необходимых для современного архитектора. Гинзбург вновь сел на студенческую скамью; он поступил на архитектурное отделение Рижского политехникума и через три года получил второй диплом, на этот раз инженера-архитектора.
В первом самостоятельном произведении М. Я. Гинзбурга — особняке в Евпатории — причудливо сочетаются традиции классицизма со стилистическими чертами модерна. По предложению заказчика молодой архитектор поехал в Крым, чтобы на месте руководить осуществлением своего первого проекта. Работая на строительстве, продолжавшемся несколько лет, Гинзбург много и мучительно раздумывал над судьбами современной архитектуры.
Молодой М. Я. Гинзбург приехал в Москву в 1921 г., но прошло всего два-три года, и его имя знал уже каждый советский архитектор.
М. Я. Гинзбург сразу после приезда в Москву активно включился в борьбу за новую архитектуру на самых боевых в тот период участках: это была перестройка высшей архитектурной школы, разработка архитектурной теории. С 1921 г. М. Я. Гинзбург — преподаватель, а с 1923 г.— профессор Вхутемаса. Свою теоретическую работу М. Я. Гинзбург начал с разработки проблем архитектурной композиции, что было особенно актуально в тот период, когда отвергались многие традиционные средства архитектурной выразительности.
В 1923 г. М. Я. Гинзбург издал свой первый теоретический труд «Ритм в архитектуре», в котором сделал попытку на основе анализа опыта мировой архитектуры найти некоторые общие композиционные закономерности, присущие архитектуре любого народа и любой эпохи, в частности закономерности ритмические.
Эта книга явилась началом большой теоретической работы. В 1923 г. М. Я. Гинзбург сделал попытку объединить сторонников нового направления архитектуры вокруг журнала «Архитектура» (вышло всего два выпуска), в котором он был ответственным редактором. Он написал для журнала редакционные статьи «Старое и новое» и «Эстетика современности».
В 1923—1924 гг. М. Я. Гинзбург выступил в Московском архитектурном обществе с докладами о путях развития современной архитектуры. На основе этих докладов он написал новую книгу — «Стиль и эпоха», изданную в 1924 г., в которой по отдельным, часто едва заметным росткам нового старался предугадать пути становления нового архитектурного стиля.
Великая Октябрьская социалистическая революция и первая мировая война, пишет Гинзбург, провели резкую грань между старым и новым в развитии архитектуры. Появление нового в архитектуре он связывает как с техническим прогрессом, так и с социальными изменениями в жизни общества. Особенно большое значение М. Я. Гинзбург придавал влиянию нового «социального потребителя» архитектуры — рабочего класса.
Каждая историческая эпоха имеет свои типы сооружений, определяющие архитектурный стиль. Такими типами для нашего времени Гинзбург считал сооружения, связанные с «новой активной социальной средой — классом трудящихся», содержанием жизни которой является труд.
Рабочее жилище и промышленное строительство — это те области, где зарождается новая архитектура, утверждал М. Я. Гинзбург.
Перед современным архитектором, писал он, стоят совершенно новые задачи, которые придется решать новыми средствами. Следовательно, должен появиться и новый метод решения этих задач. Лишь тогда «архитектор почувствует себя не декоратором жизни, а ее организатором». Спецификой нового стиля, по мнению Гинзбурга, является стремление к простоте. Другими важнейшими чертами современного стиля М. Я. Гинзбург считал стандартизацию строительного производства и большую роль градостроительных проблем.
Эти работы М. Я. Гинзбурга подготовили основу для организационного объединения части архитекторов-новаторов на теоретической платформе конструктивизма, что и произошло в середине 1920-х гг.
Теоретическая и педагогическая работа почти не оставляла времени для проектирования. Однако уже в эти годы Гинзбург принимал участие в архитектурной жизни не только как теоретик, но и как архитектор-практик. В своих проектах, как и в теоретических работах, он искал новые пути развития архитектуры, опираясь на достижения современной техники и промышленности.