К 1928 году в артели «Муравейник» — в открытых к тому времени семи пекарнях, девятнадцати магазинах и на одной кондитерской фабрике — работало уже 393 человека. При артели существовали бесплатная столовая, парикмахерская, школа, библиотека, театральный кружок, покупались билеты в ложи театров, постоянно отчислялись деньги в поддержку политзаключенных, находящихся в тюрьмах, лагерях и ссылках.
В конце 1928 года Сергея Федоровича вызвали в Москопищепромсоюз и предложили ввести в состав правления нескольких членов партии большевиков. Он категорически отказался. Его вызывали еще дважды, и в последний раз предупредили, что, если он не примет в артель нужных людей, ее закроют, на что взбешенный Рыбин заявил: «Ну и черт с вами, закрывайте!»
7 января 1929 года Сергей Федорович вместе с большой группой артельщиков был арестован и заключен для дальнейшего следствия в Бутырскую тюрьму; 9 марта 1929 года вместе со всеми арестованными он был приговорен к трем годам ссылки в Северный край и отправлен в Усть-Сысольск. Любовь Васильевна сразу же была исключена из членов артели как жена ссыльного, но позднее по суду добилась своего восстановления, после чего уволилась из артели уже по собственному желанию.
Она устроилась работать заведующей учебной частью в школе для взрослых при типографии «Рабочая Москва». Семья стала жить очень трудно: зарплаты Любови Васильевны (100 рублей) не хватало даже на то, чтобы прокормить семью, да и выдавали деньги с опозданиями, поэтому она постоянно занимала у родных и знакомых или же брала в долг в кассе взаимопомощи. В августе 1930 года Сергею Федоровичу удалось устроиться в Усть-Сысольске на работу, но при всем желании он мог помогать семье лишь небольшими суммами — от 25 до 50 рублей.
Все свободное от работы время Любовь Васильевна посвящала бесконечному поиску продуктов, отстаиванию вместе с детьми громадных очередей, с тем чтобы отоварить талоны на продукты и как-то прокормить семью. С возмущением сообщала она мужу о том, что они получили талоны самой низкой категории:
С начала 30-х годов ухудшилось положение и с товарами первой необходимости, которые также выдавались только по талонам: одежда, обувь, мануфактура. Причем ежемесячные талоны отоваривались сначала для рабочих — ударников труда, потом для простых рабочих и лишь в последнюю очередь, если что-то оставалось в магазине, — для служащих, поэтому у последних талоны практически всегда пропадали.
Любови Васильевне приходилось продавать в комиссионных магазинах свои и мужа вещи, чтобы купить подрастающим девочкам одежду и обувь в коммерческих магазинах, намного при этом переплачивая. К тому же ей надо было постоянно поддерживать мужа в Усть-Сысольске, посылая туда крупы, сухари, консервы, а также одежду и обувь.
В январе 1931 года, чтобы расплатиться с долгами, Любови Васильевне пришлось взять на дом договорную сдельную работу и до поздней ночи сидеть над отчетами.[54] Описание быта, бесконечных ежедневных проблем добывания продуктов и товаров и их возрастающей дороговизны занимает большую часть в письмах к мужу:
Осенью 1931 года Любови Васильевне стали помогать старшие дочери, выполняя за нее надомную работу, о чем она с гордостью сообщала мужу в декабре: