Повеление «О воспрещении евреям ремесленникам, винокурам и пивоварам и вообще мастерам и ремесленникам переселяться на жительство в Москву и Московскую губернию» исполнялось с большим рвением. Нередки были случаи, когда для обеспечения кампании использовали пересыльные тюрьмы – не всем изгнанным из города жителям-иноверцам удавалось выжить и добраться до места назначения. Вот как описывает события той поры их очевидец, писатель Лев Клячко: «Вокзалы тех дорог, которые вели в так называемую черту оседлости, стали необычно переполненными и имели такой вид, какой они приобретали во время беженства или демобилизации. Во всех комнатах, на платформах и в проходах валялись на полу евреи со своими семействами, часто весьма многочисленными, со всем своим скарбом, дожидаясь посадки. Количество поездов, не рассчитанное на массовое выселение евреев, было недостаточно для всех подвергнутых высылке. Высылаемые были преимущественно люди, жившие в Москве годами и десятками лет, имевшие на это право… Для большинства выселенных Черта была местом чуждым, неведомым – местом, с которым они не имели никаких связей». Список категорий евреев, подлежавших изгнанию, расширялся. Впервые в Москве была применена практика настоящей «охоты» на скрывавшихся от выселения – доносчикам выплачивали денежное вознаграждение. В результате из города было выселено, по некоторым данным, около 20 тысяч человек.
Как раз на этот период, ставший поворотным в еврейской (а по сути антиеврейской) политике властей, пришлось завершение строительства нового здания Хоральной синагоги – величественного сооружения с объемным куполом и парадной колоннадой. Московские евреи даже не успели провести освящение нового дома молитв. Немедленно было выпущено подписанное царем повеление о выселении раввина Минора, который якобы самовольно открыл синагогу, а также о необходимости закрытия и продажи здания на Солянке. Это решение было подкреплено распоряжением местных властей о снятии купола с дома молитв. Двери его были опечатаны.
Началась долгая и кропотливая борьба московской еврейской общины за сохранение главной синагоги города. В ход шли самые разные ухищрения, вплоть до перепланировки внутреннего пространства и обещаний перевести в здание ремесленное училище или детский приют. В этой борьбе общине удалось дотянуть до революционных событий 1905 года, когда царь, вынужденный пойти на некоторые либеральные уступки, подписал указ «О свободе вероисповеданий». В результате летом 1906 года, при содействии министра внутренних дел Петра Столыпина, было получено долгожданное разрешение царя на открытие Хоральной синагоги, борьба за которую продолжалась 15 лет.
С первых дней она стала духовным центром московской общины, и главная заслуга в том, что Хоральная синагога играла столь важную роль в истории евреев Российской империи, принадлежала ее раввину, уроженцу Могилева, Якову Мазе. Его подвижническая деятельность в Москве продолжалась тридцать лет, и этот период в истории московского еврейства по праву называют эпохой Мазе. Масштаб его личности был таков, что роль Мазе в отстаивании интересов и прав еврейского населения империи выходила далеко за московские пределы. Особенно широкую известность он приобрел, приехав в Киев на процесс по «делу Бейлиса», чтобы в качестве эксперта опровергнуть обвинения «кровавого навета» и, по сути, остановить назревавшую новую погромную волну.
Кроме всего прочего, сложности Мазе добавляли его старания позиционировать роль синагоги в диаспоре не только как «внутриеврейское» дело. Пытаясь выстраивать диалог с московской властью, как правило не испытывавшей к евреям дружелюбия, он проявлял величайшую принципиальность и непреклонность, но в то же время демонстрировал уважение к русским чиновникам и общественным деятелям, чьи труд и нравственная позиция служили интересам государства, полноправными гражданами которого стремились быть евреи эпохи Черты.
Этот принцип воплотился в торжественных речах, произнесенных раввином Хоральной синагоги в память о Льве Толстом в 1910 году и о директоре Императорского технического училища Александре Гавриленко в 1913 году. Объясняя, почему синагога, верная еврейской традиции, оплакивает последнего, хотя он не был евреем, Мазе сослался на постановление Талмуда «оплакивать неевреев наравне с евреями», если их земная жизнь оставила следы и добрую память людям. «Мы разделяем общую скорбь с общечеловеческой точки зрения… Мы заявляем, что умер человек с любящей душой… Его истинно христианское отношение к людям и настоящее русское благородное сердце каждый раз указывали ему пути, как открывать двери вверенного ему храма наук перед всеми стучавшимися в них».