Косыгин собирал совещания в Совете министров. На них приходили референты, консультанты, начальники отделов. По ходу дела Косыгин задавал множество вопросов. «Вы точно знаете?» — обычно спрашивал он министра или его заместителя, искоса взглянув на него цепким взглядом. К тем, кто не был готов сразу дать четкий, вразумительный ответ, но обещал узнать, а затем и доложить обо всем ему, Косыгин относился сдержанно и терпимо. Однако он жестко выражал свое недовольство, если перед ним «финтили», изворачивались, стараясь скрыть свою неосведомленность. «Но я не помню ни одного случая, чтобы Косыгин был грубым, предвзято настроенным, тем более, чтобы оскорбил кого-то, — рассказывает Байбаков. — <…> Люди, близко знавшие Алексея Николаевича, отмечали его некоторую суховатость, а я бы сказал, сдержанность в отношениях с людьми, что отличало его от иных руководителей. Он никогда не кричал, не стучал кулаком по столу».
Последнее утверждение — об исключительной сдержанности Косыгина — отнесем на счет простительной забывчивости пожилого мемуариста. Помощник генерального секретаря Александров-Агентов вспоминал, как на заседании Политбюро Косыгин, недовольный докладом Байбакова, истерически кричал на председателя Госплана: «Что вы тут развизжались, как старая баба?!» Вообще к концу жизни Косыгин стал раздражительным и нетерпимым.
Тандем Косыгин — Байбаков не нравился генсеку, вызывал у него настороженность.
«Бывая вместе с Алексеем Николаевичем на заседаниях у Брежнева, я замечал, что Леонид Ильич бросает на меня выразительный взгляд, как на “косыгинца”, — рассказывает Байбаков. — Я и в кабинете у Генсека не скрывал, что мне нравится, как твердо и прямо отстаивал Косыгин свои мысли и решения, как остро и неожиданно он реагирует на каверзные вопросы. Брежнев, уже отяжелевший и привыкший к славословию, слушал его вполуха, ревниво поглядывал на своих прирученных соратников и хмурился, когда видел внимательно слушающего. Всем здесь было понятно, что Брежнев, а не Косыгин “хозяин страны”, что Косыгин у него не в особой чести, поэтому нередко обсуждали крупномасштабные косыгинские выступления поверхностно и бегло. Вспоминаю, что после подобных заседаний Косыгина буквально трясло от возмущения, от того, как непродуманно и поспешно принималось решение по той или иной важной проблеме. Но, увы, один, без поддержки всемогущего Политбюро, Алексей Николаевич практически ничего не мог сделать по ряду актуальных вопросов. Брежнев все больше и больше отстранялся от рассмотрения планов и государственных программ, — то ли ему было скучно, то ли силы начали сдавать. Скорее, не понимая всей сути дел, он завидовал уму Косыгина, его знаниям и подлинному авторитету. Между ними возникла незримая, психологическая напряженность, которая все нарастала, хотя внешне это особо не проявлялось».
Байбаков вспоминает происшествие, едва не стоившее Косыгину жизни. Как-то летом 1976 года на даче в Архангельском премьер решил проплыть на лодке по Москве-реке, и с ним случился солнечный удар. Косыгин потерял сознание, лодка перевернулась, но его успели спасти. Потом — два месяца в больнице и санатории.
«Вернулся Алексей Николаевич в Совмин к прежней активной работе вроде и прежним, но более замкнутым, что ли, — вспоминал Байбаков. — Однажды, обдумав и подписав какой-то документ по здравоохранению, он странно посмотрел на меня долгим взглядом и начал беседу на неожиданную тему. Он любил иногда поговорить на отвлеченные темы, вероятно, чтобы снять напряжение. На сей раз после длительной паузы он вдруг спросил:
— Скажи, а ты был на том свете?
Мне стало чуть-чуть жутковато, и я ответил, что не был, да и не хотел бы там оказаться.
— А я там был, — с грустноватой ноткой отозвался Алексей Николаевич и, глядя перед собой отрешенно, добавил:
— Там очень неуютно…
Что-то помешало продолжению этого мистического разговора, но хорошо помню, что состоялся он вскоре после его болезни. У меня сложилось впечатление, что именно после этого нелепого случая с лодкой здоровье Косыгина надломилось. К тому же обострились отношения с Брежневым, Черненко, Тихоновым. За первым инфарктом последовал второй в октябре 1980 года, а в декабре Алексея Николаевича не стало. <…> Я был одним из тех, кто стоял у гроба Косыгина».
Байбаков описывает, как к Центральному дому Советской армии, где проходило прощание с Косыгиным, тянулись нескончаемые вереницы людей. Когда объявили, что печальный ритуал заканчивается, народ недовольно зашумел. Организаторам пришлось продлить прощание еще часа на четыре.
«Так закончилась целая эпоха косыгинских реформ, — подводит Байбаков черту под своими воспоминаниями о работе с Косыгиным. — И наступил подлинный, а не сочиненный борзыми либералами “застой”. Рядом с немощным, впавшим в старчество генсеком очутился второй старец — дряхлый Тихонов».