Руководство ВЧК понимало, что для поощрения сотрудников за успешное проведение ими конкретных операций и выполнение иных специальных заданий требовалось введение системы ведомственных наград. На начальном этапе она включала в себя награждение премиями, грамотами и благодарностями от Президиума ВЧК. Затем самым достойным чекистам стали вручать боевое оружие, золотые или серебряные часы и портсигары с соответствующими надписями: «За беспощадную борьбу с контрреволюцией», «За самоотверженную чекистскую работу», «За успешное выполнение оперативного поручения». Институт ведомственных наград органов государственной безопасности постепенно развивался и совершенствовался. Однако необходима была высшая награда. И она в скором времени была введена.
Представители первого поколения разведчиков в особо торжественных случаях с гордостью носили на груди знак «Почетный чекист».
Этот знак был учрежден 12 июля 1923 года приказом Коллегии ГПУ № 304 в качестве дополнения к введенному в декабре 1922 года по случаю 5-й годовщины органов государственной безопасности (ВЧК-ГПУ) званию «Почетный чекист».
В описании знака указывалось:
Знак вручался особо отличившимся сотрудникам контрразведки и внешней разведки, а также военнослужащим пограничной службы от имени Коллегии ГПУ-ОГПУ вплоть до декабря 1932 года. Он являлся высшей ведомственной наградой органов госбезопасности. Кавалерами знака, до введения нового, стали почти 800 человек.
В положении о знаке, утвержденном 19 июля 1923 года приказом Коллегии ГПУ № 307, отмечалось, что ему присваивается «значение награды достойнейших сотрудников ВЧК-ГПУ, своей работой в органах ВЧК-ГПУ заслуживших быть особо отмеченными». Порядок награждения предусматривал стаж работы в органах не менее трех лет. Вместе со знаком награжденному выдавалась грамота в виде удостоверения личности с фотографией и в кожаном переплете.
Место для ношения знака определялось специальным приказом № 123 от 18 июня 1926 года, в котором, в частности, говорилось:
Знак «Почетный чекист» за № 1 был вручен Ф.Э. Дзержинскому. Среди сотрудников Иностранного отдела (внешней разведки) ГПУ одними из первых этого почетного знака были удостоены С.Г. Могилевский, А.П. Федоров, Г.С. Сыроежкин и С.В. Пузицкий.
В декабре 1927 года органы государственной безопасности СССР праздновали свое 10-летие. К этому времени прошел всего лишь год со дня смерти их бессменного руководителя Ф.Э. Дзержинского. В память о бесстрашном «рыцаре революции» Коллегия тогда уже Объединенного государственного политического управления учредила юбилейный нагрудный жетон с профилем Ф.Э. Дзержинского, обрамленным в лавровый венок, на фоне Красного знамени с цифрами «1917» и «1927» в левом и правом верхних его углах. Знамя лежало на овале, в свою очередь окантованном с двух сторон пшеничными колосьями, увенчанными пятиконечной звездой. В нижней части жетона размещались два перекрещивающихся меча, над которыми вилась лента с аббревиатурой «О.Г.П.У.».