— Я ушел на фронт из Академии наук, я научный работник и хотел бы вернуться в академию. Может быть, я заработал себе право уже не вести никакой организационной работы, однако мог бы работать научным сотрудником.
В сентябре 1960 года его взяли в Главное архивное управление при Совете министров СССР ученым археографом. Другой работы для него не нашлось. Коллективу было приказано не проявлять к нему интереса, не заходить к нему без дела. Словом, не общаться. Занимался он тем, что писал рецензии на сборники документов, которые готовили к изданию архивные учреждения разных ведомств, но написанные им рецензии подписывал начальник Главархива, так что работа Шепилова была анонимной.
После XXI съезда партии, в феврале 1962 года, его исключили из КПСС «за активную антипартийную фракционную раскольническую деятельность». Академии наук-невиданное дело! — было предписано лишить его звания члена-корреспондента как «выступившего против интересов народа».
Время от времени он пытался добиться реабилитации. В 1970 году его принял министр обороны маршал Андрей Антонович Гречко. Через некоторое время Шепилов получил военную пенсию и право пользоваться услугами медицины Министерства обороны. Как отставной генерал он мог лечиться в военном госпитале и отдыхать в подмосковном санатории «Архангельское».
В 1973 году ему дали новую квартиру. 18 февраля 1976 года Комитет партийного контроля (КПК) при ЦК КПСС восстановил его в партии с сохранением партстажа. С ним разговаривал сам председатель КПК Арвид Янович Пельше, сказал, что справедливость восторжествовала. Беседа в КПК обнадежила Дмитрия Трофимовича. Он надеялся, что теперь ему найдется какая-то более интересная работа. Но единственное, что для него сделали, это повысили в должности, перевели в старшие археографы.
В ноябре 1982 года он вышел на пенсию — в возрасте 77 лет. Но он вовсе не был немощным стариком. Он всегда очень аккуратно одевался, хотя начисто был лишен тяги к материальным благам, ничего не имел и никогда от этого не страдал. Отличался тем, что любил писать письма — редкое качество для людей XX века.
При всех его горестях утешением было то, что друзья остались друзьями. Среди музыкантов он пользовался непререкаемым авторитетом отнюдь не в силу высокой должности. Тихон Хренников вспоминал: «Шостакович приглашал его на все концерты, даже когда Шепилов был уже вне политики и без должности, и всегда интересовался его мнением».
Однажды Тихон Хренников достал ему билет на премьеру в Большой театр, а рядом оказалось место министра культуры Екатерины Алексеевны Фурцевой. Она была возмущена: «Кто посмел продать билет Шепилову? Да еще на место рядом со мной?!»
Люди искусства чувствовали в нем родственную душу. Даже сам Иван Козловский пел с ним дуэтом. Шепилов как-то написал: «Всю свою сознательную жизнь я испытывал неизъяснимое блаженство при проникновении в волшебный мир музыки. Даже в битвах за Москву, даже в замороженных окопах Сталинграда, в период ночных затиший, после боя старался я поймать на радиоволне захватывающие ум и сердце звуки музыки».
Шепилов был высоким, красивым, интересным, всю жизнь в него влюблялись женщины. Им нравился его бархатистый, приятный голос.
Последние годы о нем заботилась Тамара Петровна Толчанова. Она, может быть, единственная, кто в 1957 году на партийном собрании не проголосовал за осуждение антипартийной группы, потому что любила и уважала Шепилова.
«Знаете, что меня поражало в Дмитрии Трофимовиче? — говорит Тамара Толчанова. — Я никогда не слышала, чтобы он по-стариковски брюзжал, на что-то жаловался».
Последний раз он лежал в военном госпитале. Видимо, врачи проморгали момент, когда у него началось воспаление легких, которое его и погубило. Он мечтал дописать книгу воспоминаний и просил врача: «Дайте мне еще год жизни!»
Дмитрий Трофимович Шепилов умер 18 августа 1995 года, не дожив двух месяцев до девяностолетия. Он не думал о сломанной карьере, об упущенных возможностях. Несчастьем для него стало то, что его оклеветали, обвинив в том, чего он не делал. Слово «примкнувший» его бесконечно обижало.
Когда в больнице ему было совсем тяжело, он говорил Тамаре Толчановой: «Вот я умру, и после меня ничего не останется, кроме фразы «и примкнувший к ним Шепилов». А я никогда ни к кому не примыкал, жил своим умом…»