Дзержинский продолжал работу в ВЧК. После поездок по стране он понял, что красный террор, который изначально был направлен на борьбу с врагом, обрушился и на простой народ.
В 1920 году в Тамбовской губернии был уничтожен отряд повстанческой армии, где из 35 тысяч человек большая часть приходилась на обычных крестьян, в 1921 году после восстания в Кронштадте было расстреляно больше двух тысяч человек. Дзержинский не мог с этим смириться и попросил снять свою кандидатуру в члены ЦК.
Просьбу Дзержинского отклонили. Кому-то надо было делать эту работу, и именно у фанатика революции Железного Феликса были качества настоящего чекиста: холодная голова и горячее сердце. С 1921 по 1929 год органы ВЧК – ОГПУ арестовали 1 004 956 человек. При этом осуждены были лишь около 20 % от их числа. На своей должности Дзержинский старался не превратиться в настоящего палача.
Глава ВЧК был обеспокоен здоровьем чекистов. По личной инициативе Феликса Дзержинского специально для сотрудников внутренних дел в 1923 году был создан знаменитый спортивный клуб «Динамо». Футбол был любимой игрой чекистов. Клуб «Динамо» и по сей день остается одним из самых успешных спортивных клубов страны.
Кроме того, Дзержинский занимался проблемой беспризорности. После Первой мировой и Гражданской войн в стране их насчитывалось около пяти миллионов.
В январе 1921 года Дзержинский предложил наркому просвещения Анатолию Луначарскому создать Комиссию по улучшению жизни детей. Вскоре она начала свою работу, а каждый чекист стал ежемесячно отчислять 10 % от заработной платы на содержание детских домов.
К 1924 году в стране уже было более 280 детских домов, 420 трудовых коммун и 880 «детских городков». В 927 фабрично-заводских школах прошли обучение более 90 тысяч подростков.