Уже в студенческий период Коля «Молодой союз» ХДС доставлял партии в Рейнланд-Пфальце немало забот. Его представители требовали от партии отказа от двойных мандатов и предоставления молодым силам возможности для самостоятельной политической деятельности. Коль предпринял ряд шагов на окружном и земельном уровнях, чтобы помешать только «старикам» принимать решения по перспективам будущего развития страны. Молодое поколение начало проявлять все большую самостоятельность во внутриполитических вопросах и оказывать влияние на принятие решений по проблемным и кадровым вопросам. Оно энергично выступало против коррупции и семейственности, бунтовало против засилья «стариков» в партии.
В апреле 1959 г. Коль без труда попал в ландтаг: сказалась поддержка друзей в партии и его известность в Рейнланд-Пфальце. Местные лидеры ХДС Петер Альтмайер и Вильгельм Боден не выносили этого выскочку: в их глазах он был слишком молод и беспечен.
Коль получил репутацию политического деятеля прагматического склада, способного к осуществлению серьезных экономических и социальных преобразований. Его быстрому продвижению во многом способствовали семейное положение и воспитание, обеспечивавшие оптимальную для местной ситуации «дозировку» консервативных элементов с либеральными и даже левыми. Как выходец из семьи католиков, он стал своим человеком среди клерикальных активистов, создававших первые организации ХДС и его молодежное объединение в провинции.
Коль сразу установил хорошие связи с крупным капиталом. В 1958 г. он поступил референтом в управление всемирно известной химической монополии БАСФ и продолжал оставаться в этой должности в течение десяти лет, тем временем быстро продвигаясь по партийной и административной лестнице. Только став в 1969 г. премьер-министром земли, Коль оставил службу в БАСФ.
В конце 60 — начале 70-х гг. христианские демократы Рейнланд-Пфальца по инициативе Коля осуществили ряд мер в области экономики. Была модернизирована инфраструктура, расширена дорожная сеть для соединения с основными магистралями.
Возросло число промышленных предприятий, виноделие как основная отрасль дополнилось смежными производствами.
Вместе с тем крупных социальных реформ не проводилось. В 1968 г. Коль выступил с обещанием добиться «устранения социальных неурядиц», но дальше некоторого улучшения положения с детскими садами дело не продвинулось. Христианские демократы ставили себе в заслугу также «административную реформу». Она выразилась в устранении некоторых ставших архаичными административных единиц и несколько упростила управление.
Главной реформой, благодаря которой в ХДС сложилось мнение о Коле как о «левом», была отмена крохотных конфессиональных школ в Рейнланд-Пфальце. Эти школы, почти сплошь католические, стали к тому времени явным анахронизмом, но тем не менее горячо отстаивались частью клира. Добившись роспуска этих школ, Коль вызвал раздражение рьяных клерикалов, обрушившихся на «красного» премьера.
Левизна Коля в годы его пребывания на руководящих постах в Рейнланд-Пфальце проявлялась лишь в узких границах. Осенью 1968 г. он осудил правительство большой коалиции за отказ от «должной твердости» по отношению к движению «новых левых». Коль уже в конце пребывания у власти большой коалиции стал настаивать на необходимости организационного обновления ХДС. Осенью 1968 г. журнал «Шпигель» писал, что «Коль слывет главой крыла реформаторов, которые хотят сделать из совокупности кружков нобилей и группировок по интересам организационно и политически крепко сплоченную партию».
Тогда же он заявил, что партия христианских демократов «должна отвечать критериям современного массового общества», иначе она «лишится будущего». Заняв в 1973 г. пост председателя ХДС, Коль поставил целью создание активного и дееспособного аппарата. Он провозгласил принцип, по которому каждый член союза должен быть прежде всего активистом партии и ее деятельным сотрудником. Одновременно была развернута крупная кампания вовлечения в ХДС новых членов. С наибольшим размахом она велась в 1973–1975 гг., когда в партию было принято 130 тыс. новых членов. За четырехлетний период численность партии увеличилась на 46,8 % и достигла 700 тыс. человек.
Прилив свежих сил существенно изменил структуру партии. Ко времени Мангеймского съезда 1977 г. уже 70 % членов были моложе 50 лет, половина — моложе 45 лет, тогда как прежде в ХДС преобладали пожилые люди. Удалось расширить прием в партию протестантов: если среди членов партии их было около 30 %, то доля вступающих в партию в этот период достигла 41 %. Впервые за много лет в начале 70-х гг. усилился приток в ХДС наемных работников.