Большую часть времени в течение этих двух трудных для него лет Зайцев вместе с женой Еленой Евграфовной провел в Лялине, в доме ее матери Анны Григорьевны Кутузовой, у которой были еще четыре дочери: Олимпиада, Александра, Надежда и Анна Кутузовы. В Калининском областном архиве до сих пор хранится дело «Об учреждении секретного надзора» вышневолоцкой полиции за Варфоломеем Зайцевым. Судя по донесениям полицейских чинов, Зайцев, не получив разрешения на выезд за границу, вновь вернулся в Лялино в начале июня 1867 года и жил там до февраля 1868 года, а в мае 1868 года вновь выехал из Петербурга в Вышневолоцкий уезд. Последнее донесение исправника о том, что Зайцев «из сельца Лялино выбыл в город Петербург, откуда весной настоящего года отправился во Францию», помечено 30 июля 1869 года четыре месяца спустя после отъезда Зайцева за границу. Получив, видимо, за халатное отношение к своим обязанностям выговор, вышневолоцкий исправник призвал к ответственности пристава второго стана, в ведении которого было сельцо Лялино. В деле хранится примечательный документ — оправдательный рапорт пристава уездному исправнику, который дает возможность представить, как жил и чем занимался Варфоломей Зайцев в Лялине и каким образом осуществлялся за ним полицейский надзор.
«На предписание Вашего Высокоблагородия от 13 сего августа 1869 г. за № 91, — рапортовал пристав второго стана Вышневолоцкого уезда, — честь имею донести, что студент Зайцев в прошлом году раза два выбывал из сельца Лялина, но в оба раза весьма на короткое время; потом в конце октября, по словам родственников, выбыл в Петербург также на короткое время, но не появляется по настоящее время. Осведомляясь о его прибытии, я всегда получал отзывы от родственников, что они его ждут и скоро будет, поэтому и не доносил о его выбытии, будучи со слов родственников в уверенности, что он скоро прибудет на постоянное жительство в с. Лялино, чему я давал веру собственно потому, что студент Зайцев действительно стал обзаводиться при сельце Лялино оседлостью, как-то: выстроил для своего жилища осенью же прошлого года вчерне дом и намерен был заняться и дальнейшею отделкою, что положительно меня убеждало в том, что он действительно осваивает для себя при сельце Лялино жилище. Еще, кроме постройки дома, он у шурина своего И. Кутузова скупил и все имение, которое потом передал жене и свояченицам, — одним словом, действовал как бы местный житель, всех же его истинных мыслей и предначертаний никак не возможно было знать, тем более что обо всем предписывалось иметь негласное наблюдение и все, что я мог узнать об нем, узнавал из посторонних разговоров с родственниками и другими людьми и как не давал знать, что все сведения мне нужны об нем для представления высшему начальству и этим путем я надеялся получить больше верных сведений, но оказалось иначе: в разговорах родственников Зайцева (по личным), при всем том, что я с ними знаком, не было искренности, чем я и вовлечен был в ошибку. Неискренность их была, я полагаю, потому, что уже им известно стало каким-либо образом об учреждении над Зайцевым надзора. Более правильного надзора я учредить не в состоянии, потому что Вашему Высокоблагородию известно, какие лица избираются обществами в полицейские служители. Объяснив все по справедливости, покорнейше прошу Вас снизойти к моей ошибке в отношении недоноса о выбытии Зайцева».
Надо сказать, что неприятности для пристава второго стана и вышневолоцкого уездного исправника, связанные с домом Кутузовых, только начинались. Со времени «недоноса о выбытии Зайцева» вполне добропорядочное имение это, принадлежащее старинному, из времен Александра Невского, роду Кутузовых (младшая ветвь этого рода — знаменитые Голенищевы-Кутузовы), долгие годы не выходило из-под неусыпного ока местной полиции. Дом Кутузовых на берегу Лялиного озера, точнее — два дома: один — большой, построенный еще в середине XVIII века, и второй, построенный Зайцевым, — стоят и поныне. Они хранят немало исторических тайн.
В 70-80-х годах XIX века внимание местной полиции к Лялину приковывала прежде всего Олимпиада Евграфовна Кутузова. Вслед за сестрой она уехала за границу к Зайцевым и там вышла замуж за итальянского революционера, сподвижника Бакунина графа Кафиеро. В 70-е годы Олимпиада Кафиеро, вначале вместе с мужем, а потом и одна, дважды приезжала в Лялино, с ноября 1877 года находилась под негласным надзором полиции «за прикосновенность к делу о преступной пропаганде», в 1879 году по этапу, как «иностранка», была выдворена из Лялина и отправлена в сибирскую ссылку, откуда бежала и в середине 80-х годов вновь оказалась в Лялине — уже под «гласным полицейским надзором».