Сергей Федорович Рыбин во время следствия категорически отказался отвечать по всем вопросам,
Любовь Васильевна вместе с тремя дочерьми отбыла на Колыме весь пятилетний срок заключения. 17 июня 1942 года они были освобождены, но в условиях военного времени задержаны в лагере с закреплением в системе Дальстроя как вольнонаемные.[62] С января 1943 года все они проживали в поселке Эльген, а в 1945 году Любовь Васильевна с дочерью Евгенией выехали в поселок Сусуман Магаданской области, где 7 декабря 1949 года Любовь Васильевна скончалась. Ольга на Колыме вышла замуж и вместе с мужем и дочкой выехала в поселок Ола Хабаровского края. 19 мая 1952 года старшие сестры получили справки об отбытии срока наказания, после чего Евгения, выйдя замуж, выехала с мужем в Правдинск Горьковской области, а Ольга с семьей выехала в Пермь.
После смерти Сталина началась борьба сестер за реабилитацию, как свою, так и родителей. Первой, 26 июня 1957 года, была реабилитирована
Все изменилось после посмертной реабилитации Сергея Федоровича Рыбина, которая произошла 14 ноября 1959 года. 9 января 1961 года была посмертно реабилитирована
17 марта 1963 года она обратилась с письмом к Н. С. Хрущеву, в котором утверждала, что именно впечатления от ареста отца
Нина Луговская в конце 40-х в Магадане вышла замуж за бывшего заключенного, художника Виктора Леонидовича Темплина, который с 1943 года работал художником в Магаданском театре.[63] В 1949 году вместе с мужем она выехала в Стерлитамак (Башкирия), где они работали художниками-постановщиками в драматическом театре. 20 сентября 1953 года она наконец получила справку об отбытии срока наказания и в начале 1954 года выехала с мужем в Кизел Пермской области, где они продолжили работать в драматическом театре.
Осенью 1957 года В. Л. Темплин выехал во Владимир, где стал работать художником-постановщиком, а вскоре и главным художником областного драматического театра. Нина Сергеевна появилась там позднее, возможно около 1959 года, став художником-постановщиком в том же театре. По воспоминаниям, в ее оформлении спектаклей не было
С 1960 года Нина Сергеевна вместе с мужем начала участвовать в областных выставках художников. В 1962 году они уходят из театра и поступают работать в художественные мастерские Владимирского отделения Художественного фонда РСФСР. Их творчество является ярким примером владимирской школы пейзажа, в которую они внесли свой опыт театрально-декорационной живописи. Вспоминает владимирский художник Анатолий Иванович Кувин: