Шестого сентября 1882 года, около пяти часов вечера, в первый раз раздался звон колоколов на новоустроенной у Козельщанского храма колокольне, приветствуя своими переливами приезд Его Высокопреосвященства, Высокопреосвященнейшего Иоанна, Архиепископа Полтавского и Переяславского. Тихо двигался экипаж Владыки к церковному погосту, пробираясь между громадной толпой народа, которая густо наполняла церковный погост и буквально усеивала собой широкую площадь холма, на котором возвышался пятиглавый храм с сияющими на нем крестами. Подъехав к церкви, Владыка взошел на церковное крыльцо и, оборотившись к народу, преподал ему свое святительское благословение. Привыкший всегда встречать с нелицемерной любовью святителей своей Церкви, весь народ, как один человек, покорно склонил свою голову под благословение своего любимого и доброго Архипастыря. Пишущему эти строки выпал завидный жребий быть свидетелем того, по — видимому, обыкновенного события, которое так часто совершалось перед его глазами. Однако в настоящее время событие это было так знаменательно, свидание Архипастыря с народом было до того необычайно, что воспоминание о нем никогда не изгладится из моей памяти, и те минуты, которые я провел среди народа, встретившего святителя своей Церкви, навсегда останутся в моем воспоминании самыми отрадными минутами жизни.
Нужно знать, что церковь в деревне Козельщине построена на довольно высоком холме, господствующем над всей окружающей его местностью. Прекрасная архитектура храма, чистота его отделки, непорочный, так сказать, вид всего здания, на стены которого не успел еще пасть прах земной, производил приятное впечатление. Западное церковное крыльцо, поднятое на несколько ступеней, открывает взору наблюдателя все обширное пространство раскинутого перед ним холма, который в день посещения Владыки буквально был усеян народом. Начиная от стен церковного здания, народ занимал весь обширный церковный погост, толпился на склоне горы, покрывал всю площадь, расстилающуюся у подножия холма. На всем этом обширном пространстве видны были одни только человеческие головы, которые, то возвышаясь в одном месте, то понижаясь в другом, обозначали неровность почвы занимаемого пространства. Представьте же себе среди этой обстановки святителя православной Церкви, с крыльца церковного, как бы с некой святительской кафедры, благословляющего эти тысячи народа, склоняющего свои головы под его святительское благословение! И вся величественная сцена совершается под кроткими лучами заходящего солнца, среди необычайной тишины. В воздухе спокойно; не шевелится ни один листик на дереве, среди громадной толпы не слышно ни одного звука человеческого голоса: одно только благоговейное внимание видится во взоре народа, пристально устремленном на своего Архипастыря. Да, такие минуты не скоро забываются!
На другой день, т. е. 7 сентября, главный алтарь был освящен Владыкой при участии духовенства, съехавшегося из разных мест. 8 сентября, в престольный храмовый праздник, Владыка снова совершил литургию в новоосвященном храме и под вечер, благословив народ и благословляемый от народа, уехал в Полтаву. Придельный престол во имя святой равноапостольной Марии Магдалины был освящен 9 сентября с благословения Архипастыря одним из протоиереев Полтавских с сослужащим ему духовенством.
1884 года новоустроенная церковь в деревне Козельщине, бывшая до этого времени под наблюдением причта соседней церкви, получила самостоятельность. Епархиальным начальством назначен туда новый причт, состоящий из настоятеля заслуженного протоиерея, священника, диакона и двух псаломщиков, из которых один состоит и регентом хора певчих. Вместе с назначением причта установился при церкви постоянный и неизменный порядок в богослужении. Так как время притока богомольцев зависит главным образом от прихода поездов железной дороги, из которых полтавский приходит весьма рано утром, то и первый благовест к ранней обедне бывает в четыре часа утра. К девяти часам первая обедня оканчивается и начинается звон к обедне поздней, к каковому времени приходит поезд из Кременчуга.
Таким образом, религиозные чувства народа, его искреннее желание приложиться ко святому образу и выслушать обедню не испытывают никакого томительного ожидания. К чести Козельщанского причта нужно сказать, что он всеми мерами старается принять богомольцев как можно радушнее и исполняет их желание безотлагательно.
1885 года в апреле месяце 29–го числа указом Святейшего Правительствующего Синода при Козельщанской Рождество-Богородичной церкви открыта женская «община с присвоением ей наименования община Богородице — Рождественская».