Его сын совместно с группой богатых евреев обратился к градоначальнику с официальным ходатайством о возведении в городе еврейского храма. 19 сентября 1869 года император подписал указ о разрешении строительства в столице Хоральной синагоги, но при условии обязательного закрытия всех городских еврейских молелен после ввода в строй этого культового здания. Для постройки синагоги организовали комиссию во главе с Г.О. Гинцбургом, тот открыл сбор пожертвований и занялся поиском земельного участка. Однако подыскать удобный участок для ее возведения оказалось делом не простым, ибо согласно существовавшим в то время директивам строительство Хоральной синагоги в любом городе Российской империи, а тем более в ее столице, категорически запрещалось вблизи православных церквей и соборов. Поиски продолжались 11 лет! Лишь в 1879 году правление еврейской общины смогло найти подходящее место для возведения храма. Руководство города дало официальное разрешение на приобретение большого земельного участка на углу двух улиц в Коломне – Офицерской и Большой Мастерской. Покупка участка у наследников вдовы тайного советника Елизаветы Николаевны Львовой на собранные евреями средства совершилась 16 января 1879 года. Любопытно отметить, что не сохранился ни один из двух официальных документов, подтверждающих факт приобретения этого земельного участка («купчая крепость»). Вероятно, первый экземпляр купчей, хранившийся в архиве городского нотариата, сгорел при пожаре в здании в дни Февральской революции 1917 года. Второй экземпляр бесследно исчез со всеми документами семьи Гинцбургов после Октябрьского переворота.
Правление Временной еврейской молельни объявило конкурс на составление проекта Хоральной синагоги. В 1880 году образовалась экспертная комиссия, ее возглавил почетный член Российской Академии наук В.В. Стасов. При проектировании храма он предложил взять за образец освященную в 1866 году синагогу в Берлине, на Ораниенбург-штрассе, построенную в арабо-мавританском стиле, наиболее близком, по мнению Стасова, древнееврейскому исчезнувшему стилю.
После рассмотрения представленных проектов победу в конкурсе одержали два архитектора – И.И. Шапошников и Л.И. Бахман (первый еврей в России, окончивший столичную Академию художеств). Проект, одобренный городской управой и Техническо-строительным комитетом МВД, направили на утверждение императору Александру II. Однако градоначальник Санкт-Петербурга раскритиковал предложенный проект, полагая, что зданию синагоги «приличествует более скромный вид, который бы соответствовал гражданскому положению евреев в нашем Отечестве» и что Хоральная синагога своими формами и объемами может затмить христианские храмы. Подобные же доводы о проекте синагоги проводились и в служебном докладе МВД. Это дало основание Александру II воздержаться от решения утвердить представленный на Высочайшее Имя проект и повелеть его переделать.
В новом варианте проекта Хоральной синагоги архитекторы, вынужденные отказаться от возведения большого купола над главным залом, уменьшили высоту здания и сократили число мест для молящихся.
После основательной переделки проект вновь прошел официальное рецензирование, и 16 марта 1881 года его наконец-то утвердил другой российский император – Александр III. Срочно образовали строительный комитет под председательством А.А. Кауфмана. Для наблюдения за ходом строительства создали также технический совет, в него вошли архитекторы Н.Л. Бенуа, Н.В. Маслов, а также Д.И. Гримм, В.В. Стасов и др. Приступила к работе финансовая комиссия, ее возглавил Г.О. Гинцбург.
Официальная закладка здания Хоральной синагоги состоялась в 1883 году. Строительство началось. Однако сразу же выяснилось, что западный фасад синагоги будет находиться вблизи тротуара. Потребовалось прервать работы и вновь откорректировать рабочий проект. Здание сдвинули в глубь участка, его размеры уменьшили. Для проведения строительных работ с восточной стороны корпуса синагоги потребовалось приобрести дополнительный участок земли, принадлежавший князю Н.Б. Юсупову, запросившему за него непомерно высокую цену. После длительных торгов евреям пришлось согласиться с условиями князя.
Для возведения Хоральной синагоги в Коломне понадобилось 9 лет. В 1886 году здание подвели под крышу, закончили строительство и отделку бокового придела с небольшим залом для молитвы. На прихожан произвели большое впечатление внутренний вид временной молельни, богатая отделка ее потолка, выполненная скульптором М.И. Аноликом. В передней части синагоги на возвышении установили Ковчег Завета (вместилище для свитков Торы – Пятикнижия), оформленный Ф.И. Бахманом на пожертвования М.П. Фридланда.