Она была национализирована. На библиотеку (1 тыс. томов), состоящую из литературы на иностранных языках, владелице была выдана охранная грамота {Г.Д.Злочевский. Синодик усадебных библиотек // Библиография. -№2,1997. -с.91.}. Небольшую часть вещей Елена Федоровна, покидая усадьбу в 1918 г., смогла вывезти в Москву: шкаф, большой и малый столики красного дерева, кресла, колокольчик для вызова слуг, часы, семейные альбомы ... Эти предметы до сих пор бережно сохраняются в московской квартире внучатого племянника Елены Федоровны — Владимира Владимировича Матова.
В доме расположился, наряду с другими службами, участковый народный судья. В связи с отсутствием медпомощи в юго-западной части уезда, летом 1918 г. предлагалось перевести в Токарево из Вешек больницу {«Известия Гжатского Совета рабочих, крестьянских и красноармейских депутатов». -1918, №35.}. Однако эта идея осуществлена не была. Затем там размещались: конторские помещения, библиотека (с 1919г.), школа I ступени, Клуб рабочих со сценой. Для проведения клубных мероприятий руководство последнего обратилось в Губмузей с просьбой передать в пользование рояль. Однако их просьба была отклонена, но передан рояль из бывшей скугоревской усадьбы {ГАСО, ф.р.19, оп.1, д. 3556, л. 173}.
В июле 1918г. художник В.Б.Логинов, первый заведующий Гжатским художественным музеем и одновременно сотрудник художественно-археологического подотдела ОНО Западной области вместе с Ч.К.Стефанским - художником, сотрудником того же подотдела - обследовали усадьбу. {ГАСО, ф.р.19, оп.1, д.2245,л.55.}.
Наиболее ценные предметы были намечены к вывозу. Вероятно, что-то и было доставлено в различные музейные хранилища, однако большая их часть оставалась в усадьбе, постепенно разрушаясь временем и людьми. Свидетелями этого и стали представители музейного управления СмолГубОНО - художник А.В.Китаев и сотрудница картинной галереи З.Н.Мартынова, направленные в Гжатский уезд для обследования «в художественном и усадебно-бытовом отношении» бывших дворянских усадеб.
Осмотр Токарево проходил 5-8 мая 1921г. (ГАСО, ф.р.19, оп.1, д.622, л.184-187об.). В этот период в Токарево размещалось районное Управление всеми гжатскими Госплемхозами, «морально и юридически ответственное (в лице зав. тов. Басова) за... разруху в области хранения памятников искусства и старины...» {ГАСО, ф.р.19, оп.1, д.622, л.184-187об.}. Еще сохранялись сыроварня-маслоделка, кузница, слесарная, винокуренный завод, но «всё ветхое (сыроварня не работает, почти вся разрушена и разобрана)» {ГАСО, ф.р.19, оп.1, д.622, л 188.}.
В усадебном доме «...кое-что осталось от 1918 г. в приличном виде, часть вещей перенесена на чердак в разломанном и попорченном виде, и большая часть найдена по частным квартирам администрации, служащих и рабочих. Здание Токаревского дворца за отсутствием материалов и рабочих рук понемногу разваливается...» {ГАСО, ф.р.19, оп.1, д.622, л. 162 об.}.
В силу того, что до 1924г. вывоз ценностей осуществлен не был (хотя неоднократно планировался), а предметы на местах гибли, Губмузей принял решение о разграничении всего имущества «на имущество музейного и немузейного значения и о вывозе первого...» {ГАСО, ф.р.19, оп.1, д.3547,л.21.}.
Данное мероприятие осуществила 16 сентября 1924 г. комиссия под председательством заведующего Губмузея С.Д.Ширяева. {ГАСО, ф.р.19, оп.1, д.3557, л.194-194 об., д.3919, л.129 об.}.
В очередной раз было намечено вывезти токаревские ценности в музей-усадьбу «Алексино» и Смоленский музей {ГАСО, ф.р.19, оп.2, д.497, л.27; оп.1, Д.3552, л.7 и др.}. Но проходило время, Токарево постоянно фигурировало в планах работы комиссий всех уровней, однако вплоть до 1928 г. его ценности, взятые на госучет, так и не были вывезены {ГАСО, ф.р.19, оп.2, д.4521,л.8.}, и их дальнейшая судьба пока неизвестна.
В период боевых действий Великой Отечественной войны на территории Гжатского района дом был неоднократно обстрелян и взорван при отступлении фашистских захватчиков весной 1943 г. Тогда же при пожаре полностью погибла и вся усадебная библиотека. В это же время, в возрасте 83 лет, в Москве умерла и его последняя владелица - Елена Федоровна Крахт.
После войны дом зиял пустотами окон и полуразрушенных стен, но в целом уцелел, чему во многом способствовала толщина стен и прочность кладки. Местные ребятишки из любопытства обследовали «графские развалины», устраивая там свои незатейливые игры, а кусочки некогда белоснежных колонн использовали в качестве школьного мела.