Ближайшая для ярославских мусульман мечеть находилась в Татарской подгородной слободе Костромы; за дальностью расстояния (90 верст) они не могли посещать ее регулярно. Однако для общины важна была ритуальная сторона общественных богослужений, поэтому еще в 1877 г. она попыталась зарегистрировать мусульманское религиозное общество. Юнис Абожаев от имени проживавших тогда в городе единоверцев (12 мужчин) обратился к губернатору с соответствующим прошением, но власти отклонили просьбу, сославшись на немногочисленность последователей ислама. 7 декабря 1900 г. на заседании городской думы было рассмотрено коллективное ходатайство мусульман о расширении места для похорон на Леонтьевском погосте. Решение об увеличении мусульманского кладбища «до размера» 1000 кв. сажен было принято и сообщено адресатам – «крестьянину Юнису Абожаеву и др. лицам». Спустя несколько лет, весной 1906 г., было зарегистрировано мусульманское общество Ярославля. Теперь община получила возможность организовывать религиозные собрания и арендовать помещения для их проведения. В архивном документе от 1906 г. «уполномоченным проживающих в г. Ярославле магометан» значился имам Зиятдин Сафаров (уроженец Тамбовской губернии, имел свидетельство ОМДС о присуждении духовного звания имам-хатыба от 1906 г., в Ярославле жил ориентировочно с весны 1906 по январь 1907 г.). Ему принадлежала инициатива по возведению в городе мечети. Он начал ходатайство «с верхов», в обход местной власти, направив прошение в начале января 1907 г. на имя министра внутренних дел о разрешении сбора средств «между магометанским населением империи» на строительство мечети в г. Ярославле. Менее чем через месяц из столицы пришел ответ на адрес ярославского губернатора: «Государь император по всеподданейшему докладу министра внутренних дел в 4 день сего февраля высочайше соизволил на удовлетворение ходатайства уполномоченного в г. Ярославле магометан Зиятдина Сафарова разрешение производить между магометанским населением Империи в течение одного года сбор пожертвований в сумме до 20 тысяч рублей на постройку магометанской мечети в названном городе». Ссылаясь на пример Ярославля, по аналогичному сценарию попытались следовать и мусульмане соседней Вологды, однако их попытка не увенчалась успехом.
Зная о предстоящем отъезде З. Сафарова, ярославские мусульмане 10 января 1907 г. общественным приговором избрали имамом крестьянина Сергачского уезда Нижегородской губернии Махмуда Юсупова. Уроженцы Нижегородчины (села Ендовищи, Ключищи, Пошатово, Семеновка, Актуково, Антяровка) представляли к этому времени наиболее многочисленную и сплоченную группу внутри мусульманской общины.
Сумма пожертвований, поступивших к середине 1907 г., вероятно, была невелика, поскольку ее хватило на постройку деревянной мечети с минаретом на крыше. Весной 1910 г. открылся зал для молитвенных собраний. В 1914 г. на месте первоначального деревянного строения появилось воплощенное в архитектурных формах новое здание Ярославской соборной мечети.
Вспыхнувшее в июле 1918 г. в Ярославле антибольшевистское восстание в ответ вызвало террор против всего населения города, включая приверженцев ислама. Впоследствии новые власти осуществили ряд мероприятий по ликвидации мусульманской общины. Помимо административных действий, работа проводилась по двум направлениям: перевоспитание татар в атеистическом духе и искоренение традиций мусульманского образования. Борьбой с «пагубным влиянием ислама» занимались агитпроп губкома РКП(б) и местные филиалы Союза воинствующих безбожников (СВБ). Пик их совместной работы пришелся на 1925–1928 гг.
В 1923 г. в жилых помещениях мечети проживали 3 семьи. Ответственным по владению значился мулла Хусеин Айнетдинов, который, после смерти имама М. Юсупова, стал имам-хатыбом Ярославской соборной мечети по приговору мусульманской общины в мае 1922 г. В 1930 г. численность посещающих мечеть не превышала и 40 человек. Содержать мечеть, выплачивать арендную плату, необходимые налоги и страховые сборы им было не под силу. Поэтому уже 21 июля 1930 г. президиум Ярославского окружного исполкома обсуждал вопрос «О закрытии татарской мечети», и в 1931 г. здание числилось на балансе горисполкома. Первоначально его собирались пустить на слом, но разрушили только минарет; само здание кирпичной дореволюционной постройки приспособили под склад, позже в нем разместилась школа для слабослышаших детей. С закрытием мечети в Ярославле возникли нелегальные молельные дома.
Необходимо отметить то, что, хотя подобное явление имело место и в ряде других регионов, но именно в Ярославской области оно приобрело особенно широкий размах. Татары собирались на молитву группами 5–10 и более человек; молитвенные собрания проводились в частных домах; там же совершались другие религиозные обряды.
Один из первых молельных домов располагался в квартире неофициального имама Агзама Хасаншина, работавшего такелажником на ТЭЦ-1. Однако после того, как в 1937 г. он получил предупреждение в управлении НКВД, собрания в его доме прекратились.