На допросы Ильина вызывали в течение четырех лет с 1943 по 1947 год. Его держали в одиночной камере и периодически избивали, чтобы получить признания. Через четыре года на него махнули рукой, но еще целых пять лет он оставался в тюрьме, где в разное время его сокамерниками были министр авиационной промышленности Шахурин, маршал авиации Новиков и министр иностранных дел Румынии. Ильин никому не говорил, что он офицер-чекист. По его версии он работал в техническом отделе киностудии документальных фильмов. Понимая, что является жертвой борьбы за власть, Ильин дал себе слово ни в чем не признаваться и лучше умереть, чем запятнать свою честь. Ему удавалось даже сохранять чувство юмора. Однажды он спросил у своего следователя, проводившего допрос:
— А что означает орденская ленточка у вас на груди?
Офицер ответил, что это орден Ленина Ильин заметил:
— Вот какая мне оказана честь — дело поручено человеку, награжденному орденом Ленина. Значит, мое дело очень важное!
В июле 1951 года Ильин был переведен в Матросскую тишину и помещен в специальный блок тюрьмы ЦК партии. Находившимися там подследственными занимался Комитет партийного контроля, который расследовал дела членов ЦК и офицеров госбезопасности. Начальник тюрьмы предупредил его о серьезных последствиях, если он не признает свою вину перед партией. Новый следователь, появившийся на очередном допросе в форме генерал-майора юстиции, был заместитель военного прокурора Советского Союза Китаев. К безмерному удивлению Ильина, Китаев потребовал от него показаний о предательской деятельности Абакумова, в ответ Ильин попросил представить доказательства, что это не провокация. Охранник вывел его в коридор и подтолкнул к глазку камеры, где сидел заклятый враг Ильина Абакумов.
Тем не менее Ильин отказался свидетельствовать против Абакумова, дальновидно рассудив, что Абакумов в свое время обо всем докладывал Сталину и если он, Ильин, сейчас расскажет о сфабрикованных Абакумовым делах, то его могут обвинить в содействии этим преступлениям. Ильин дал показания, что в своей работе после 1933 года не имел с Абакумовым никаких контактов, лишь изредка встречал его на Лубянке, а также во время инспекционной поездки в Ростов в 1938 году. Китаев был неудовлетворен его заявлением и перевел Ильина обратно на Лубянку, где допросы тут же возобновились. Однако их тон сделался совершенно иным. Теперь его обвиняли в том, что он неправильно понимал свой служебный долг, поддерживая контакты и дружеские отношения с подозрительными людьми. Через полгода начальник Комендатуры Министерства госбезопасности (МГБ) генерал-майор Блохин объявил ему: за служебные упущения Особое совещание приговаривает Ильина к девяти годам тюремного заключения.
Срок заключения истек — Ильин отсидел девять лет. Перед освобождением ему предложили пройти в кабинет для оформления необходимых документов. Ильин рассказывал мне, что Блохин являлся не только начальником комендатуры, но отвечал и за приведение смертных приговоров в исполнение (в ряде случаев он сам приводил их в исполнение), поэтому, когда его вызвали к Блохину, перед ним за одну-две секунды мысленно прокрутилась вся его жизнь. Он был уверен, что сейчас, сию минуту, его поведут в комендатуру на расстрел. Однако его привели в обычный кабинет, где он дал подписку о неразглашении обстоятельств дела и условий содержания под стражей. Он получил справку об освобождении, временный паспорт и свою старую форму комиссара госбезопасности, теперь генерал-майора, без погон, которая за эти годы порядком обветшала.
Выпущенный на волю поздним вечером, без денег, Ильин решил найти убежище в приемной МГБ на Кузнецком мосту. Он знал, что война кончилась, но не знал, как она изменила жизнь людей: ему было неизвестно, что в стране произошла денежная реформа и в обращении совсем другие деньги. Он также не знал, где его семья и что с ней. Утром выяснилось, что его жена развелась с ним, так как не имела сведений о нем и считала, что он погиб. Она снова вышла замуж, и их дочь жила с ней.
Ильин попробовал связаться с Меркуловым, который стал министром Госконтроля. Он пришел в министерство, секретарь доложил Меркулову, а потом сказал, что фамилия Ильина министру ни о чем не говорит. Ему некуда было идти. Он снова вернулся в приемную МГБ и сделал попытку позвонить Шубнякову, бывшему своему заместителю.
Он не знал номер его телефона и у него не было монеты, чтобы позвонить из автомата, поэтому он набрал свой старый номер, воспользовавшись внутренним телефоном в приемной МГБ. Ответил дежурный офицер, который узнал его и разговаривал с ним с явной симпатией: репутация Ильина все еще оставалась высокой среди ветеранов НКВД. Оказалось, что Шубняков арестован в 1951 году, вслед за Абакумовым. Офицер из приемной МГБ одолжил Ильину пятьсот рублей (тогда это была довольно большая сумма) и посоветовал немедленно уехать из Москвы.