Но в ночь на 18 сентября 1938 года он был арестован согласно ордеру № 3957 по обвинению в шпионаже в пользу Великобритании и связях с расстрелянными к тому времени сотрудниками нелегальной разведки, исповедовавшими идеи троцкизма. Приговором суда от 8 мая 1939 года ему «предлагалось» отсидеть 20 лет в исправительно-трудовом лагере (ИТЛ). Заключение отбывал в Норильском, Красноярском и Сибирском ИТЛ.
Иоланта жила в Москве. Она хотела встретиться с Дмитрием. Написала письмо Берии. Наконец безнадежно больная супруга добилась свидания с мужем. Увидев его, она кинулась к изможденному супругу. Но конвоир грубо оттолкнул ее. Она упала. Дмитрий стал на ее защиту. Его избили, отправили в карцер и встреча не состоялась. А вскоре Иоланты не стало…
Руководство разведки вспомнило о графе Быстролетове лишь в 1947 году. Он был срочно доставлен в огромный кабинет министра ГБ генерал-полковника В. С. Абакумова.
— Может, хватит уже отдыхать! Я вам предлагаю амнистию… и возвращение в разведку, — сухо проговорил министр.
— Я отказываюсь от амнистии и требую повторного суда и полной реабилитации, потому что я ни в чем не провинился перед Родиной, — смело глядя в наливающиеся кровью глаза большого начальника, промолвил бывший разведчик-нелегал.
После этого взбешенный Абакумов приказал «упечь гордеца в одиночку». Разведчик три года содержался в одиночной камере одной из самых страшных тюрем МГБ «Суханово». Потом его отправили на каторгу. В отличие от своих товарищей, Дмитрий Быстролетов не разуверился в идее социализма и его светлом будущем. Он был ленинистом, а потом сталинистом, но только до 1947 года.
Автор долго искал материал о характеристике своего героя солагерниками. Нашел выдержку из письма З. С. Амдура:
Граф советской разведки был освобожден из лагеря только в 1954 году. Через два года пришла реабилитация, и он, больной, полностью деморализованный человек, вернулся в Москву. Ютился в крохотной комнате коммунальной квартиры.
В 1967 году новый председатель КГБ при СМ СССР Ю. В. Андропов вспомнил о жертвах и задумал идею о «реабилитации» Лубянки. Вспомнил он и о Быстролетове. Пригласил его в кабинет на беседу, после которой разведчику вручили ордер на получение удобной квартиры. Предложили пенсию, от которой он отказался. Его портрет по приказу председателя повесили в Комнате боевой славы в главном здании КГБ — доме № 2.
Андропов не знал, что к тому времени бывший восторженный юноша, романтик разведки превратился в убежденного антикоммуниста.
3 мая 1975 года Дмитрий Быстролетов скончался. Его с почестями похоронили на Хованском кладбище…
В своем автобиографическом мемуарном романе «Пир бессмертных» Быстролетов писал: