Из госпиталя Сергей вышел инвалидом. Началась гангрена. Ногу врачам удалось спасти, но половину ступни отрезали. Нога часто его не слушалась — ее внезапно сводила судорога. Он приезжал в полк, потом снова ложился в госпиталь. Летчику предложили штабную работу, а по окончании войны 2 5-летнего капитана уволили в запас.
По окончании войны как-то Иванов был проездом в Москве. Хотели его товарищи на учебу пристроить, но он учиться не захотел. Поехал к своим родителям в Вышний Волочок. Человек, проведший почти всю войну на передовой, мог бы рассчитывать на какое-то участие к себе со стороны властей. Видимо, таких чутких руководителей и чиновников он на своем пути не встретил.
Однажды один из ветеранов полка встретил в поезде женщину из Вышнего Волочка и спросил у нее, не знает ли она такого летчика-Героя Иванова. Та, конечно, знала. Городок-то небольшой. Рассказала, что дали Иванову после войны какую-то руководящую должность. Он на ней из-за выпивок не удержался. Перевели на другую. Та же история. Уволили. Ребятишки, конечно, к нему льнули. Как же, Герой? А ему же выпить надо. Отец у него был снабженцем, складами заведовал и тоже сильно выпивал. Вот Иванов и подговорил ребят — то ли магазин, то ли квартиру ограбить. Ребят поймали, а ему, как организатору, дали срок, после чего лишили звания Героя.
Эту версию подтверждает и «робингудовская статья» УК РСФСР, указанная в сопроводительном письме, посланном в ГУК с уведомлением о лишении Иванова С.С. звания Героя. Срок дали 10 лет, но по амнистии вскоре после смерти Сталина выпустили.
Судя по воспоминаниям близких людей, знавших его лично, в более поздние годы в подпитии Сергей поругивал советскую власть, говоря при этом, что многих руководителей надо гнать грязной метлой от власти. Особенно ненавидел тех, кто в годы войны нажился в тылу на людском горе… Был он по жизни человеком с обостренным чувством справедливости, часто становился на защиту любого, пусть даже незнакомого человека. С близкими, знакомыми по работе был вежлив и предупредителен. Имел врожденное чувство интеллигентности, никогда близкие не слышали от него бранного слова.
В хрониках семьи Иванова «дело», в результате которого он потерял свою Золотую Звезду Героя, выглядит следующим образом.
Однажды вечером он шел со своей матерью и сестрой. Был в подпитии. К ним подошли незнакомцы, стали оскорблять женщин. Завязалась драка, в ходе которой хулиганы пытались сорвать у Сергея Золотую Звезду. В одном из участников потасовки Иванов узнал работника милиции. Позже он ходил выяснять отношения, но в милиции его предупредили: «Ты положишь ордена на стол. Я тебе обещаю. Такое тебе будет дело «пришито», век не отмоешься».
Косвенно о правдивости этой истории говорит тот факт, что Грамота Героя у Сергея была отобрана лишь в 1959 г.