Впрочем, Николай Львович Батюшков, несмотря на суровый приговор, продолжал оставаться на военной службе, хотя, скорее всего, номинально. Он вышел в отставку в 1780 году и после этого служил по гражданской части в Вологде. Последней его должностью стала должность губернского прокурора в Вятке. В 1795 году он окончательно покидает службу. По-видимому, причиной стало психическое заболевание жены, скончавшейся в этом году и оставившей ему четырех дочерей и сына Константина Николаевича. Да и отъезд из Вологды в далекую Вятку, вероятно, объясняется необходимостью разлучить детей с матерью.
Три старших дочери были помещены в пансион мадам М. Эклебен в Петербурге. Константин и младшая сестра Варенька (семейное предание связывает с ее рождением начало психической болезни матери) остались с дедом в Даниловском. Будущий поэт провел здесь все детство — от четырех до десяти лет.
Об этом времени мало что известно; необходимо прибегать к косвенным данным. Дедом — рачительным помещиком — в 1796 году была составлена подробная опись имущества усадьбы, досконально перечислены не только серебро и хрусталь, но и хомуты и дуги. Из этой описи известно, что в Даниловском имелось большое количество исторических картин, портреты царей, начиная с Алексея Михайловича до царствующего императора Павла. В сенях (удивительно!) висели «рожа Дмитрия Самозванца» и «рожа Емельки Пугачева». Библиотека состояла из книг духовных, «гражданских» (уставы и инструкции. —
Способный мальчик быстро выучился читать и писать. Вообще Батюшков считал Даниловское колыбелью своей поэзии.
В 1797 году отрок Батюшков на долгие годы покинул Даниловское. Как старшие сестры, он был отправлен в Петербург и помещен в пансион О. П. Жакино. Его отец через год вернулся в родовую усадьбу, поскольку Лев Андреевич заболел и передал сыну хозяйство. С этого момента Даниловское стало постепенно клониться к упадку.
В письмах поэта к любимой сестре Александре постоянно встречаются намеки на «несчастную страсть» отца. По-видимому, речь идет о картах. Судя по всему, он был игроком страстным, но малоудачливым. Долги росли и наконец превысили 90 тысяч рублей (цифра по тому времени громадная). Удивительно, но главным кредитором Николая Львовича Батюшкова была его вторая жена Авдотья Никитична Теглова. Этот долг перешел к ней после смерти ее родителя, устюжского предводителя дворянства Ивана Никитича Теглова. Согласно векселям сумма равнялась 60 тысячам рублей.