Участник Великой Отечественной войны с 22.6.1941 г. по 9.5.1945 г. Воевал в составе фронтов: Западного (22.6—24.7.1941), Центрального (24.7—16.8.1941), Брянского (16.8.1941—14.3.1943) командиром взвода и батареи 462-го корпусного артиллерийского полка 13-й армии, помощником начальника штаба 19-го гвардейского пушечного артиллерийского армейского полка РГК; Центрального (14.3—15.11.1943) — командиром дивизиона и начальником штаба 19 гв. ААП РГК; 1-го Украинского (15.11.1943—15.11.1944) — начальником штаба 19 гв. ААП РГК и 135-й армейской пушечной артиллерийской Днепровско-Жмеринской Краснознаменной ордена Суворова бригады; 4-го Украинского (15.11.1944-9.5.1945) — начальником штаба 135 АПАБР 38-й армии. Трижды был в окружении: под Стародубом (8.8—10.8.1941) и в Брянских лесах (8.10–19.10.1941). Всегда выходил с оружием в расположение наших войск, а в Касторной (3.7–6.7.1942) вел артиллерийский бой в окружении врага, обеспечивая выход из окружения нашему стрелковому соединению. Боевой путь: Бобруйск — Рославль — Стародуб — Карачев — Ливны — Елец — Касторная — Курская дуга — Киев — Моравска Острава — Прага. В боях проявил смелость, находчивость и высокое мастерство.
Великую Отечественную войну закончил подполковником (апрель 1945 г.). За боевые отличия в боях с немецко-фашистскими захватчиками награжден орденами: Красного Знамени (21.2.1942), Красной Звезды (9.2.1943), Кутузова 3-й степени (27.5.1945).
С мая 1945 г. по февраль 1950 г. подполковник Герчик — слушатель командного факультета наземной артиллерии Артиллерийской академии им. Ф. Э. Дзержинского. 26.6.1950 г. ему присвоено воинское звание полковник. По окончании академии назначен преподавателем кафедры оперативно-тактической подготовки, затем старшим преподавателем кафедры тактики артиллерии. С 6.1953 по 10.1954 г. — заместитель начальника училища, начальник учебного отдела 1-го Ленинградского артиллерийского училища.
27.10.1954 г. полковник Герчик назначается командиром ракетной бригады (80-я инженерная бригада РВГК — в/ч 52035). Он получает задачу от маршала артиллерии Неделина в течение трех месяцев подготовить дивизионы бригады к проведению учебно-боевых пусков ракет Р-1 на полигоне. Для того чтобы уложиться в столь короткие сроки К. В. Герчик, посоветовавшись со специалистами, принимает решение использовать для обучения расчетов имеющийся комплект ракетной техники круглосуточно по графику. Причем следующий расчет он также находился на позиции, наблюдая и анализируя работу расчета, готовящего ракету к пуску. Была создана инструкторская группа из лучших специалистов. Каждое занятие заканчивалось подробным разбором. Итоги подводил командир бригады. Он не только был организатором учебы, но и сам в числе первых осваивал ее. Такой конвейер обучения позволил выполнить задачу успешно. Все три дивизиона по очереди провели учебно-боевые пуски, получив хорошие оценки. Министр обороны Жуков, присутствовавший на одном из пусков, дал высокую оценку действиям расчетов и поощрил отличившихся и командира бригады.
Штаб реактивных частей, используя бригаду полковника Герчика как ведущую, провел ряд опытных учений, с помощью которых были разработаны инструкции и наставления по применению ракетных бригад. В трудных условиях учений полковник Герчик проявлял находчивость и решительность. Рассказывали, что однажды, совершая марш для доставки ракеты на стартовую позицию с имитацией пуска, Константин Васильевич доложил Неделину, что из-за плохого состояния дороги не успевает выйти к заданному сроку на основную позицию, и предложил провести пуск с запасной позиции. Неделин согласился. Задача была выполнена. Только позже, готовя другие учения, маршал узнал, что подготовленных и привязанных по координатам запасных позиций в бригаде на время указанного марша не было. Он пожурил Герчика, но простил его.
10.7.1957 г. Константин Васильевич был назначен начальником штаба 5-го НИИП МО и принял дела у полковника А. Г. Карася. Он вступил в должность в напряженный момент, когда не ладилось с испытаниями ракеты Р-7 и нужно было искать причины неудач. Одновременно на полигоне развертывались работы по подготовке к запуску первого спутника, шла масса документов по испытаниям, строительству, организации связи, режиму и многим другим вещам, которыми надлежит заниматься начальнику штаба. Тем не менее он умудрялся находить время для знакомства с новой для него техникой и процессом испытаний, не стеснялся задавать въедливые вопросы и изучать технику при помощи подчиненных.