В 1858 году Владимир Федосеевич решил продолжить писать свои воспоминания, которые начал еще в 1840 году, но тогда был арестован Лунин и конфискованы его бумаги, и он вновь решил оставить их до лучших времен. «Крепость Замостье и разговор с цесаревичем Константином Павловичем» и «Крепость Замостье и конфирмация» были написаны ранее. Теперь он готовит еще три очерка: о поездке в ссылку в Сибирь, о деятельности его в тайном обществе, о поездке в европейскую часть России в 1858 году. Написал очерк о смертной казни пяти декабристов. Раевский видел эту казнь из окна своего каземата. Весь обряд казни прошел перед его глазами и запомнился на всю жизнь.
«…Через полчаса из этого дома вышли один за одним 5 человек, осужденных на смерть. Они шли один после другого под конвоем с обеих сторон солдат Павловского полка. Все они были одеты в белые длинные саваны. У каждого на груди была привешена черная доска с надписью: преступник такой-то. Они взошли на вал и потом на платформу. На перекладине было привязано пять веревок с петлями. Внизу стояла скамейка. Осужденные были в ножных кандалах, им очень трудно было стать на скамейку, но им помогли… Через полчаса трупы сняли, сложили на телегу и увезли…»
Естественно, для написания воспоминаний у Раевского было очень мало свободного времени. Писал урывками и часто в ночное время. Иногда случалось, что, написав что-либо, Владимир Федосеевич прочитывал Авдотье Моисеевне, которая, удивляясь, говорила:
— Ты мне об этом никогда не говорил, первый раз слышу.
— Не все сразу, — шутил Раевский, — я еще ни слова не написал, как мы обвенчались.
— Думаешь, кому-то интересно будет знать?
— Детям нашим, а еще больше внукам, ведь свадьба наша была необычная…
Когда старшие дети уже были пристроены и расходы уменьшились, Владимир Федосеевич решил бросить работу по откупу. Об этом узнали крестьяне, услугами которых он все время пользовался, что являлось их единственным заработком. Крестьяне умоляли его не бросать работу, ибо знали, что никто иной не сумеет защитить их интересы так, как он. Сотни крестьян имели приличные заработки потому, что Раевский не допускал вмешательства чиновников, а сам не брал от них ни гроша.
Годы брали свое. Раевскому становилось трудно часто ездить от винокуренного завода до Олонков. Поэтому на заводе построил для себя маленький домик. На Александровском винокуренном заводе отбывали каторжные работы осужденные за разные провинности. Там были и ссыльные поляки, которые в лице Раевского видели своего защитника. С некоторого времени на завод привезли соратника Чернышевского Обручева. Раевский сразу подружился с ним, помогал ему. Иногда Обручев бывал в доме Раевского.
В те дни больше всего говорили о крестьянской реформе 1861 года. Было распространено мнение, особенно в этом усердствовали помещики, что Россия держится на дворянстве и что без крепостного права уничтожилось бы не только дворянство, но и сама Россия.
В воскресный день Обручев пришел к Раевскому и, увидев на столе Раевского газету, спросил:
— Что пишут о реформе, Владимир Федосеевич?
— По повелению царя во всех губерниях созданы комитеты по освобождению крестьян, посмотрим, что из этого получится. Я лично убежден, что прежде всего следует крепостному рабу возвратить человеческие права, а потом трактовать о поземельном праве или наделению землею.
— Много разговоров идет вокруг выступления в Новгороде губернатора Муравьева по этому вопросу, сказывают, он на стороне крестьян, — заметил Обручев, — слыхал, что вы были близко знакомы с губернатором.
— Александра Николаевича Муравьева я знаю давно. Он один из основателей тайного общества, но потом отошел от него и в силу этого, а также при содействии влиятельных родственников ушел от строгого наказания. Это весьма интересная личность, сказывают, что, когда его назначили в Нижний Новгород военным губернатором, первым делом он сделал объявление, что принимает посетителей «во всякий час дня с утра до ночи, не исключая воскресенья и праздников».
О Раевском Обручев оставил воспоминание: «В Александровском заводе жил Владимир Федосеевич Раевский, современник декабристов и всегда причислявший себя к ним, — он и был им… Небольшого роста, довольно плотный, он носил коротко остриженные волосы и бакенбарды. Русская речь отличительная, своеобразная. Минутами, когда он читал стихи или рассказывал что-нибудь возбуждающее, к нему возвращалась осанка человека властного, бесстрашного. Стихов он мне читал много, но я помню только две строки о том, как в Новгороде
Для меня несомненно, что в нем погибла личность выдающаяся по уму, энергии, и если не поэтическому, то, во всяком случае, стихотворному дарованию».
Все, кому приходилось встречаться с Раевским, составили о нем самое высокое мнение. Известный в то время литератор Черепанов, близко знавший Раевского, также рассказал о встречах с ним в сочинении «Воспоминания сибирского козака».