Первая жена Константина Устиновича Черненко — Марья Михайловна — работала детским врачом в Красноярске. Вторая жена — Анна Дмитриевна Любимова — прожила с ним 40 лет и умерла в 2010 году.
Константин Черненко окончил трёхгодичную школу сельской молодёжи. В 1929–1931 годах был завотделом агитации и пропаганды Новосёловского райкома ВЛКСМ. В 1931–1933 годах служил в пограничных войсках, где вступил в ВКП(б) и был избран секретарём парторганизации погранотряда.
В 1933–1941 годах был завотделом пропаганды и агитации ряда райкомов партии Красноярского края и директором Красноярского краевого дома партпросвещения. В 1941–1943 годах — секретарь Красноярского крайкома. С 1943 по 1945 год учился в Высшей партийной школе при ЦК ВКП(б). В 1945–1948 годах — секретарь Пензенского обкома партии, где заочно учился на истфаке Пензенского пединститута, но не окончил его в связи с переводом на работу в Москву.
С 1948 года — завотделом пропаганды и агитации ЦК Компартии Молдавии, где познакомился с первым секретарём ЦК Компартии Молдавии Брежневым. Затем его дружба и карьера были неразрывно связаны с карьерой Брежнева. В 1953 году он окончил Кишиневский педагогический институт по специальности «учитель истории».
С 1956 по май 1960 года Черненко — завсектором агитации в Отделе пропаганды и агитации ЦК. В 1960–1965 годах — начальник Секретариата Президиума Верховного Совета СССР. В 1965–1982 годах — зав. Общим отделом ЦК, с 1976 года — секретарь ЦК и кандидат в члены Политбюро, а с ноября 1978 года — член Политбюро.
Черненко был партийным организатором высочайшего класса, но в общении был прост и доступен. Все региональные руководители стремились попасть к нему на приём, зная, что тогда любой вопрос будет решён, а документы оперативно пройдут все инстанции. Он ведал всей почтой, адресованной генеральному секретарю, готовил предварительные ответы и материалы к заседаниям Политбюро, поэтому был в курсе всего происходящего в руководстве партии.
Нередко решения исходили от него, но оглашались от имени Брежнева. Со временем Черненко стал для Брежнева незаменимым. На вторых ролях, но в роли настоящего серого кардинала он чувствовал себя очень комфортно. Но близость к генеральному имела и негативные стороны. Так, приглашение на охоту в Завидово было знаком особого доверия вождя. Черненко охоту не любил, но вынужден был соглашаться и каждый раз там простужался.
Брежнев особо ценил его, щедро награждал и продвигал по партийной лестнице. Черненко дважды сопровождал его в заграничных поездках: в 1975 году — в Хельсинки, на международное Совещание по безопасности и сотрудничеству в Европе, и в 1979 году в Вену — на переговоры по вопросам разоружения, и считался одним из возможных преемников Брежнева, связанным с консервативными силами.
К моменту кончины Брежнева в 1982 году он считался на Западе одним из двух претендентов на власть в СССР, наряду с Андроповым, который в итоге аппаратных интриг одержал верх. Политбюро после смерти Брежнева цинично порекомендовало именно ему
12 ноября 1982 год на пленуме он это сделал, однако подчеркнул необходимость коллективного руководства, и Андропов был избран единогласно.
В феврале 1982 года Политбюро одобрило присуждение Ленинских и Государственных премий за «Историю внешней политики СССР, 1917–1980 гг.» в двух томах. В числе лауреатов Ленинской премии был и Черненко. В июне 1983 года он выступил с докладом «Актуальные вопросы идеологической и массово-политической работы партии», где подверг критике самодеятельные эстрадные группы с репертуаром, «наносящие идейный и эстетический ущерб».
После этого музыкальные исполнители, особенно русского рока, выступавшие на «квартирниках» и самодеятельных концертах, нарушающих монополию Госконцерта, были приравнены к незаконной предпринимательской деятельности, грозившей тюремным заключением. Однако скорая болезнь и кончина Андропова 9 февраля 1984 года прекратили внутрипартийную идеологическую борьбу, и Черненко стал новым главой партии и государства.
13 февраля 1984 года на пленуме ЦК он единогласно был избран генеральным секретарем, за что проголосовал и его конкурент Горбачев
Ряд историков считает, что Черненко свернул начатый Андроповым курс либеральных преобразований, многие полезные начинания Андропова были им продолжены и усилены, в том числе уголовное дело на Щёлокова, борьба с теневой экономикой и политика ускорения. Черненко первым стал употреблять слово «перестройка»: