Он родился в селе Суры Пинежского уезда Архангельской губернии, в семье псаломщика Ильи Сергеева. Приход был бедный; их семье, где было трое детей (сын и две дочери), жилось трудно, всегда ощущалась нужда. В 12 лет его отдали в Архангельское духовное училище, в 16 лет он стал учащимся Духовной семинарии (где он был лучшим учеником), затем его отправили в Санкт-Петербургскую духовную академию, куда он был принят на казенный счет. Когда он был студентом Академии, умер его отец, поэтому ему пришлось в финансовом плане помогать матери и сестрам. Будучи студентом, он работал письмоводителем в Академии. Он решил избрать путь приходского иерея. Церковные каноны не разрешают неженатого посвящать в иереи моложе 40 лет. С детства Иван видел, как трудно совмещать служение Церкви Божией с заботами о семье, детях. Вот почему он нашел себе жену, которая согласилась на целомудренную жизнь после вступления в брак, в таком браке детей быть не могло. В 26 лет он был рукоположен в иереи и стал третьим священником в Андреевском соборе г. Кронштадта, был и законоучителем в учебных заведениях этого города.
Отец Иоанн начал бесстрашную борьбу за нравственное оздоровление бедных, обездоленных и часто злых людей. Он посещал убогие жилища, утешал людей, кому-то давал деньги на еду, другим – на одежду, обувь, иные нужды, стремился врачевать их души и тело, нередко отдавал нуждающимся свою одежду и обувь. Он говорил: «Злые люди – больные, а больных нужно жалеть больше, чем здоровых». Люди стали постепенно убеждаться, что рядом с ними оказался редкий праведник. Затем люди стали говорить, что по молитве о. Иоанна Господь творит чудеса.
Очень сильное влияние на людей оказывали его проповеди, в том числе пророческие проповеди и составленные им молитвы. Он ясно представлял себе судьбу России в дальнейшем. В одной из проповедей в 1903 г. с амвона он открыто говорил: «Уже близко время, что разделится народ на партии, восстанет брат на брата, сын на отца, отец на сына и прольется много крови на Русской земле. Часть русского народа будет изгнана из пределов России; изгнанники вернутся в свои родные края, но не скоро, своих мест не узнают и не будут знать, где их родные похоронены». В своем предсмертном пророчестве в 1908 г. он писал: «Русский народ и другие населяющие Россию племена глубоко развращены, горнило искушений и бедствий для всех необходимо, и Господь, не хотящий никому погибнуть, всех пережигает в этом горниле».