В ту пору ожидали крупных реформ в стране. Государственный секретарь М. М. Сперанский с согласия Александра I готовил сложную систему законов, которые должны были в конце концов привести к введению в стране пусть ограниченной, но конституции; пусть умеренной, но отмене крепостного права. Сперанский был в добрых отношениях с Лопухиным и не раз обращался к его уму и знаниям, хотя они во многом расходились, а Лопухин не уставал повторять, что, защищая народ от властей, жалея его, мечтая о просвещении, он все-таки против освобождения крестьян. 4 января 1807 года Иван Владимирович написал царю:
Иначе говоря, сенатор считает, что рано, опасно еще давать волю мужикам; он советует только применять строгие меры против тиранов-помещиков…
При этом вполне умеренные взгляды Лопухина как бы оспаривались его особой репутацией. Царь, правда, дал ему высочайший чин действительного тайного советника, но прислушивался и к враждебным нашептываниям графа Ростопчина, а также других представителей консервативной знати. По их понятиям, такой человек, как Лопухин, столь рьяно ратовавший за законность и справедливость, не может не быть скрытым «якобинцем» (любопытно, что примерно такие же обвинения в эту пору были предъявлены Карамзину, тоже сочетавшему умеренно консервативные воззрения с личной честностью и бесстрашием). Во дворец ползли слухи, «мнения» весьма важных лиц, будто Лопухин «человек самый безнравственный», что он стоит во главе «заговора мартинистов» и при случае изменит в пользу Наполеона.
Почувствовав опасность, сенатор решил изложить свой образ мыслей в мемуарах. Так были задуманы те самые записки, о которых полвека спустя будет напечатано объявление в «Колоколе».
Лопухин окончил свои воспоминания к лету 1809 года и несколько позже так поведал о некоторых подробностях:
Далее следуют любопытные соображения Лопухина о русской мемуаристике вообще: