В 48 лет он окончательно оставил службу, в чине генерал-лейтенанта вышел в отставку, поселился в своем подмосковном имении Мышецкое, писал стихи, мемуары, теоретические работы по военному искусству. Д.В. Давыдов был счастлив тем, что свои лучшие силы и годы отдал борьбе за свободу России. Но он горько сожалел, что недоученные, ограниченные администраторы слишком часто тормозили продвижение вперед более умных, честных, благородно настроенных людей, мешали им принимать имеющие общероссийское значение решения. Его возмущали подношения, подарки, лесть начальствующим лицам от подхалимов и взаимное обогащение. Он страдал от того, что его, по сути, оттеснили от активной деятельности государственного плана.
Он предавался воспоминаниям, писал письма друзьям, охотился и в очередной раз влюбился (имея 5 сыновей, несколько дочерей и примерную внимательную жену). В 49 лет Давыдов познакомился с двадцатидвухлетней племянницей своего бывшего подчиненного в партизанском отряде Д.А. Бекетова – с Евгенией Дмитриевной Золотаревой. Ради встреч с ней он ездил в имение Д.А. Бекетова – Бекетовку (под Пензой) и в Пензу. Два с лишним года он думал о ней, за это время написал 57 писем пензенской барышне (после их смерти сын Е.Д. Золотаревой – А.В. Манцев позволил их издать) и 19 стихотворений – гимнов в ее честь. Давыдов жил письмами Золотаревой и ожиданиями их. Почти через 3 года, когда Золотаревой было уже 25 лет, ее родственники все-таки убедили ее отказаться от бесперспективного и в большей мере письменного романа с женатым, многодетным поэтом и выйти замуж, что она и сделала в 1836 г. После этого события Давыдов начал быстро стареть и в 1839 г. скоропостижно умер – остановилось сердце. Несомненно, ускорила его смерть и гибель на дуэли его друга – поэта А.С. Пушкина в 1837 г.
В 25 км к северу от Гагарина, в селе Самуйлово
, находится памятник архитектуры – бывшая усадьба князя А.А. Голицына (XVIII в.) с дворцом и служебными постройками. В строительстве этого усадебного комплекса принимал участие знаменитый архитектор из Швейцарии Ж. Тома де Томон. В начале XXI в. в бывшем имении можно было увидеть полуразрушенный дворец с флигелями, одну хозяйственную постройку, остатки прудов и сильно заросший парк. О том, что жизнь еще здесь теплится, напоминала школа, размещенная в одном из восстановленных флигелей. Даже трудно представить, что здесь в начале XIX в. был великолепный усадебно-парковый комплекс, история которого связана с двумя известными княжескими родами.