Слухи о принадлежавших мне раньше богатых приисках и о якобы привезенном сюда большом количестве золота все время циркулировали. Лица, распространявшие эти слухи, по-видимому, забыли о предшествовавших событиях в России и не знали, что, хотя у меня действительно золота было много, но оно было конфисковано в сейфах московских и иркутских банков, вместе с текущими счетами и другими ценностями. <…> Сначала бандиты потребовали очень большой выкуп, и только благодаря тому, что они были толковые люди, они разобрались в приведенных мною расчетах, согласились немного оставить мне и сделали уступки. В конечном результате сумма оказалась для меня очень ощутительной, и после ее выплаты мне пришлось совершенно изменить образ жизни мой и моей семьи. Пополнить потери мне не удалось и, вероятно, уже не удастся [Фризер 1932а: 22–23].
После похищения он значительно свернул свою коммерческую деятельность, переведя акцент на культурные и общинные проекты. В одной из своих тетрадей он заметил: «Теперь [январь 1927 года] переживаю тревожные дни, когда потерял за прошлый год почти весь свободный капитал» [ЛА].
Другой инициативой Я. Д. Фризера, которая после его смерти была частично продолжена доктором А. И. Кауфманом, была организация «Архивной комиссии еврейских организаций для собирания материалов по истории евреев на Дальнем Востоке». Важность этого вопроса Фризер впервые затронул в обзорном докладе по истории еврейской общины Харбина, прочитанном им для узкого круга приглашенных лиц в апреле 1930 года и посвященном двадцатипятилетию существования общины. В своем докладе он указал на важность собирания материалов по истории создания и функционирования таких элементов общинной жизни, как выборы и деятельность правления; наличие оппозиции и поиски решений в разрешении общинных конфликтов; библиотечное дело; школьное дело; религиозная жизнь; социальные вопросы, касающиеся устройства нищих и бездомных; курсы по интересам и практического характера; образовательные лекции как местного, так и международного характера; организация вечерних курсов и вопросы сионистской работы [Обозрение общинной жизни 1930: 28]. После этого выступления при ХЕДО (Харбинском еврейском духовном обществе) была образована Архивная комиссия под председательством Я. Д. Фризера. Через печатный орган общины журнал «Еврейская жизнь», а также размещение листовок в зданиях, принадлежащих общине и арендованных ею, было распространено написанное им обращение к руководству общины, где отстаивалось право ее рядовых членов также приносить материалы в Архивную комиссию по собственной инициативе. В письме руководству общины Фризер пишет: