Как это нередко бывает с лицами, утратившими высокое положение и не имеющими прочных идейных принципов, Хрущев в своих взглядах быстро эволюционировал от недовольства теми, кто его отстранил от власти, к огульной критике общественно-политического строя своей страны. Он все чаще слушал передачи «Голос Америки» и «Би-би-си», которые еще недавно требовал глушить. Он поддерживал разговоры, в которых высмеивались советские порядки. Аналогичная эволюция, видимо, совершалась и среди членов его семьи, также испытавших на себе резкие перемены в своем положении. Иначе трудно понять, почему прежде аполитичный Сергей Хрущев стал настойчиво предлагать отцу ознакомиться с произведениями Оруэлла и Солженицына и приглашать к нему людей, явно недовольных советским строем. (Правда, по словам Сергея Хрущева, ни романы Солженицына «В круге первом» и «Раковый корпус», ни роман Оруэлла «1984» Хрущеву не понравились.)
Критика действий правительства Хрущевым, которая становилась известной широкому кругу его друзей и знакомых, неизбежно сближала его со всеми недовольными политикой страны, в том числе и с теми, кого он еще недавно осуждал и подвергал преследованиям. Хрущев, беспощадно громивший некоторых поэтов, писателей, художников и скульпторов за малейшие отклонения от норм «социалистического реализма», теперь стал их принимать у себя на даче. Приходили и лица, пострадавшие от репрессий 1930-х годов, и их дети, как например, дети Якира. Эти люди, а также сослуживцы и друзья детей Н.С. Хрущева составили его новый круг общения. В ходе бесед с этими людьми Хрущев, который и прежде любил вспоминать события прошлого, особенно сталинского времени, неизбежно уделял много воспоминаниям. В таких беседах Хрущев все острее критиковал и тех, кто был у власти до него, прежде всего Сталина, и тех, что сменил его. Нередко подобные устные воспоминания завершались предложениями слушателей, чтобы Хрущев написал мемуары.
По словам Сергея Хрущева, его отец сначала отмалчивался. Однако в конце августа 1966 года он стал делать записи своих воспоминаний на магнитофон. Постепенно он увлекся этим. Сотрудница С.Н. Хрущева Леонора Никифоровна Финогенова печатала, слушая воспроизведение записей. Сергей Хрущев редактировал отпечатанный текст. «С того дня, – писал С.Н. Хрущев, – отец диктовал по несколько часов в день. Лора печатала быстро и все-таки не успевала за ним. Я совсем задыхался.
Редактировал, правил каждую свободную минуту дома и на работе, в будни и в выходные, с утра до позднего вечера»: По сути Хрущев начал говорить самую длинную речь в своей жизни, перемежая ее, как обычно, байками собственного сочинения. Своим последним выступлением в защиту самого себя он доказывал порочность тех, кто его отстранил от власти.
Работа над воспоминаниями стала основным делом Н.С. Хрущева в период его пребывания на пенсии. В ответ на предложение Сергея Хрущева, чтобы отец обратился в ЦК за помощью, тот ответил: «Не хочу их ни о чем просить. Если сами предложат – не откажусь. Но они не предложат – мои воспоминания им не нужны. Только помешать могут». Поскольку в своих рассказах о прошлом Хрущев исходил из безошибочности своих действий, а во всех бедах страны винил других руководителей СССР, и прежде всего Сталина, то он неизбежно вступал в конфликт с новой интерпретацией истории, в которой о деятельности Хрущева и других руководителей предпочитали вообще ничего не говорить. Поэтому Хрущев решил не только не просить помощи у властей, но стал скрывать от них свою работу над мемуарами. Запись производилась на дачном участке, так как Хрущев опасался подслушивания внутри дома. По этой причине слова Хрущева порой заглушались ревом пролетавших мимо самолетов.
По словам С.Н. Хрущева, «надиктовывая километры магнитофонной ленты, отец все больше мучился – какая же судьба ждет его воспоминания? "Напрасно все это. Пустой труд. Все пропадет. Умру я, все заберут и уничтожат или так похоронят, что и следов не останется", – не раз повторял он во время наших воскресных прогулок». Забота сохранить пленки с воспоминаниями была понятна и объяснима, но менее объяснимо стало стремление Хрущева и его сына переправить пленки за границу.