Более четырех месяцев Раевский постоянно встречался с Авдотьей, но все еще не был уверен в истинной любви к ней. Подобное чувство он уже испытывал однажды несколько лет назад к девушке Гаше. Тогда он любил свои переживания к ней и какую-то ранее не испытанную полноту чувств при встречах. Считал это любовью. И только позже осознал, что заблуждался, как заблуждаются тысячи людей, ошибочно приняв любовные переживания за истинную любовь, а потом об этом горько сожалеют. «Может, и сейчас так? Может, я вновь ошибаюсь? А может, она ошибается?» — эти вопросы неотступно стояли перед ним.
И вдруг по Олонкам прошла недобрая молва, будто поселенец добился покорности Авдотьи и тут же бросил ее. А в Иркутске якобы помолвлен с другой.
Злые слухи доходили и до Раевского. Он догадывался, кто их распространял, но ничего сделать не мог. Всем сердцем переживал за Авдотью и ее родителей. Как мог успокаивал их. Они верили ему, но все же тревожились за судьбу дочери.
Слухи подогревали воображение Раевского, и он стал понимать, что не может больше жить без своей «дикарки».
В конце 1828 года Авдотья Середкина стала женою Раевского. Венчались в церкви неподалеку от дома. Прямо из-под венца привел Раевский невесту, как и положено по русскому обычаю, в собственный дом. Крестьяне села на своем сходе решили подарить Раевскому за его доброе к ним отношение место на реке Ульяхе для строительства мельницы и островок Суслик для покоса. Спустя почти двадцать лет Раевский в письме к Батенькову писал: «Женился здесь и — не ошибся, что случается весьма редко». На простых крестьянских девушках женились и другие декабристы, оказавшиеся в изгнании. Именно тогда в народе родилась песня:
Раевский как бы вновь воспрянул духом, и тогда бодро зазвучал его голос:
После женитьбы Раевского в Олонках стали считать своим. Многие последовали примеру Авдотьи и пошли в школу Раевского, как ее стали называть местные жители. Но не было помещения. Тогда Владимир Федосеевич за свой счет нашел дом крестьянина Миронова и принимал в школу всех желающих. Вскоре ему пришлось нанять для помощи еще одного учителя, Гусарова.
Авдотья понимала, что ей необходимо многому учиться, чтобы не слишком отставать от образованного мужа. Раевский с большим удовольствием помогал ей в этом: часто они засиживались до утра за книгами, а иногда даже спорили.
Раевский понимал, что своих книг у него явно недостаточно для обучения поселян. Он стал искать связи в Иркутске, и ему вскоре повезло — промышленник и первый частноторговец Восточной Сибири, Баснин, разрешил ему пользоваться своей прекрасной библиотекой.