В 1899 году Я. Д. Фризер переселяется в Иркутск и довольно быстро становится частью местного делового и интеллектуального общества. Как видный представитель иркутского купечества Фризер был участником многих совещаний, созываемых местной высшей администрацией: о путях сообщения в Сибири при иркутском генерал-губернаторе в декабре 1906 года, о нуждах рыбопромышленности в 1908 году, противочумного съезда в 1911 году. В 1912 году Фризер представил в Иркутскую городскую думу мотивированную записку о необходимости скорейшего проведения трамвая. В 1910 году при участии Якова Фризера в Иркутске был создан Восточно-Сибирский отдел Общества содействия русской торговле и промышленности. Одной из задач общества были разработка и финансирование проектов, способствующих экономическому развитию Сибири, включая исследование ее недр, развитие речного и сухопутного транспорта, строительство портов и железных дорог [Голос Сибири 1910]. Кроме того, Фризер был одним из инициаторов открытия биржи в городе Иркутске, состоял старшиной Иркутского биржевого комитета. Фризер принимал близкое участие в делах Иркутского общества взаимного кредита в качестве члена совета, составил проект изменения устава; был также членом учетных комитетов Государственного, Волжско-Камского и Русско-Азиатского банков. В 1916 году для открытия Иркутского торгово-промышленного банка организовал в Иркутске новое акционерное общество.
Список общественных, культурных и экономических интересов Фризера был внушителен; в Иркутске трудно было найти учреждение или организацию, в деятельности которой он бы не принимал посильное участие. Фризер также принимал живое участие в жизни иркутской еврейской общины и был председателем хозяйственного правления синагоги. Он состоял членом иркутского отделения Еврейского историко-этнографического общества. По его инициативе в Иркутске в январе 1914 года было открыто отделение Общества распространения просвещения между евреями в России, в котором он председательствовал много лет, на его средства в 1915 году был издан капитальный труд «Евреи в Иркутске» [Войтинский, Горнштейн 1915]. Фризер был действительным (пожизненным) членом Восточно-Сибирского отдела Императорского Русского географического общества. Фризер состоял также почетным членом губернского попечительства детских приютов и членом-казначеем Иркутского сельскохозяйственного общества.
Сложная политическая ситуация, сложившаяся в Восточной Сибири после Октябрьского переворота 1917 года, подтолкнула Я. Д. Фризера к мысли о переезде в Харбин, как он думал, временном, в конце 1918 года. Однако стремительно развивавшиеся события в Сибири и на Дальнем Востоке вскоре превратили временное пребывание в Харбине в постоянное. Начиная с мая 1919 года семья Фризеров поселяется в собственном доме по Биржевой улице, одной из центральных деловых улиц города в районе Пристань. Среди представителей деловых кругов Сибири и Дальнего Востока Харбин считался своего рода тихой гаванью, расположенной вдали от бушующих политических страстей, но вместе с тем крупным центром экономической активности, одинаково связанным удобными путями сообщения как с Западом, так и с Востоком. Многие евреи-предприниматели успели до революции приобрести в Харбине недвижимость и земельные участки под застройку. Дом, в котором поселилась семья Фризе-ров, был куплен тестем Фризера, крупным нерчинским купцом Ф. Рифом еще в 1906 году.
Положение еврейской общины Харбина ко времени переезда Фризера было далеко не простым: город был полон беженцев из Восточной Сибири, Приморья и Дальнего Востока, среди которых было немало евреев, солдат и офицеров Белой армии, промышленников и предпринимателей, имевших деловые интересы в Маньчжурии до революции, представителей разных партий, политических течений, интеллектуалов. М. А. Кроль, знакомый Фризера по Иркутску, также перебравшийся в Харбин, писал в своих воспоминаниях о городе в конце 1918 года:
Харбин кишел беженцами, среди которых было немало очень богатых людей, успевших вывезти из России значительную часть своих капиталов, ценностей. <…> Главным образом, это были коммерсанты, которые и в Харбине тоже делали «дела» и много содействовали небывалому развитию харбинской торговли [Кроль 2008: 527].
Статистику численности еврейских общин, имевшихся практически во всех городах и на станциях КВЖД на территории Маньчжурии, никто не вел. А. И. Кауфман, глава еврейской общины Харбина, имевший контакты с руководством всех еврейских общин Маньчжурии, с определенной долей вероятности предполагал, что в начале 1920-х годов численность евреев Маньчжурии составляла 12–15 тысяч человек [Кауфман 1930: 1].