До смещения Н.С. Хрущева с поста первого секретаря ЦК КПСС в октябре 1964 года Л.И. Брежнев и Н.В. Подгорный были очень дружны. Я уже писал, что именно Н.В.Подгорный был вдохновителем, а Л.И. Брежнев и другие — исполнителями освобождения Н.С. Хрущева от занимаемых постов. На заседании Президиума ЦК, когда надо было решать, кому быть первым секретарем ЦК, Л.И. Брежнев предложил кандидатуру Н.В. Подгорного. Но тот сказал: «Нет, Леня, берись ты за эту работу». Так Л.И. Брежнев стал первым секретарем ЦК партии, а затем Н.В. Подгорный занял пост Председателя Президиума Верховного Совета СССР.
Первое время в их отношениях было все хорошо. Но потом у Л.И. Брежнева стало проявляться недовольство тем, что Н.В. Подгорный старается вести себя во всем на равных с Брежневым. Кроме того, он стал выражать недовольство проявлением мании величия Л.И. Брежнева, осуждая восхваления и славословия в его адрес. Однажды мне пришлось присутствовать на юбилее одного из секретарей ЦК КПСС. У него в гостях были Брежнев с женой, Подгорный, Кириленко, я и некоторые другие члены Политбюро и секретари ЦК. Присутствующие поздравляли хозяев с юбилеем. Но больше слов говорилось в адрес Генерального секретаря ЦК. Когда юбиляр произносил свой тост, то он в основном говорил о Брежневе, о его заслугах перед партией и страной. Возмущенный происходящим, Подгорный, обращаясь к Леониду Ильичу, сказал: «Леня, как ты можешь терпеть такие славословия в свой адрес? Почему ты не прекратишь это восхваление? Это не годится не только для руководителя, но и для простого коммуниста. Ты знаешь, как я к тебе отношусь. Я готов за тебя подставить свою грудь под пули, но я не могу видеть, как ты, по существу, поощряешь возвеличивание себя».
Говорил он это громко, возбужденно. Брежнев стал ему возражать, говоря что, мол, ничего предосудительного здесь сказано не было, что товарищи хотят и могут высказывать свои мысли, свои оценки деятельности любого из нас, что ты, Николай Викторович, всегда сгущаешь краски, всегда чем-то недоволен и т. п. В общем, произошла серьезная размолвка между Брежневым и Подгорным. Настроение у всех было испорчено, и вскоре мы разъехались по домам.
Были и другие случаи, когда Подгорный высказывал осуждение Брежнева за его манию величия, поощрение хвалебных в свой адрес выступлений и славословий. В узком кругу он прямо осуждал Брежнева за приверженность к культу личности, за его любовь к лести и подобострастию. Подгорный не стремился и, я убежден, не желал занять место Генерального секретаря ЦК. Его возмущало благосклонное отношение Брежнева к подхалимажу и возвеличиванию своей персоны. В свою очередь Брежнев не скрывал неудовлетворенность Подгорным за его критические высказывания в свой адрес. Все это (разговоры особо близких к Брежневу членов Политбюро, что «нам не нужно двух генеральных секретарей ЦК»), а также желание быть первым лицом не только в партии, но и в государстве и послужило причиной отставки Подгорного в 1977 году и занятия Брежневым, наряду с должностью Генерального секретаря ЦК, поста Председателя Президиума Верховного Совета СССР.
Во второй половине 70-х годов резко ухудшилось состояние здоровья Леонида Ильича. Речь его стала невнятной, как говорил сам Леонид Ильич, что-то не получается с протезированием зубов (в период Великой Отечественной войны Леонид Ильич получил ранение челюсти), и, несмотря на все усилия наших врачей, а также специалистов из Германии, проблемы с речью у Леонида Ильича оставались до последних дней его жизни. Вследствие этого доклады и выступления произносились нечетко, шепеляво, хуже воспринимались слушателями, вызывали насмешки и разговоры у людей. У нас, его товарищей по Политбюро, это вызывало сочувствие и сожаление.
В 1974 или 1975 году он месяца три не работал, находился в загородной больнице, перенес какое-то заболевание. Официально об этом ничего не говорилось. Даже большинство членов Политбюро ЦК не были поставлены в известность, что же с ним было. Бывший в то время начальником четвертого главного управления Минздрава СССР Е.И. Чазов сказал: «Проведено лечение последствий военных лет». Возможно, это был инфаркт или какая-то серьезная операция. Появились склеротические явления, нетвердость походки, быстрая утомляемость. Резко снизилась работоспособность. Постепенно дело подошло к тому, что без написанного текста он не мог выступать не только в больших аудиториях, но даже на заседаниях Политбюро ЦК. Хотя они проходили регулярно (каждый четверг), продолжительность резко сократилась, они стали длиться час, максимум полтора часа. По вопросам повестки дня Леонид Ильич зачитывал подготовленные его секретариатом записки и проекты решений, которые должны быть приняты.