Тогда в одной части Кронштадта жили военные, а во второй части – люди, выселенные в него из Петербурга за дурное поведение и неблаговидные поступки. Люди в массе своей были бедными, предавались с отчаяния пьянству, разврату, насилию, воровству (как-то с самого о. Иоанна на окраине города сняли шубу с плеч). Отец Иоанн начал бесстрашную борьбу за нравственное оздоровление бедных, обездоленных и часто злых людей. Он посещал убогие жилища, утешал людей, кому-то давал деньги на еду, другим – на одежду, обувь, иные нужды, стремился врачевать их души и тело, нередко отдавал нуждающимся свою одежду и обувь. Он говорил: «Злые люди – больные, а больных нужно жалеть больше, чем здоровых». Люди стали постепенно убеждаться, что рядом с ними оказался редкий праведник. Затем люди стали говорить, что по молитве о. Иоанна Господь творит чудеса. Отец Иоанн много сил отдал созданию в Кронштадте приходских учреждений, в том числе Дома трудолюбия и Странноприимного дома. Он устроил 2 женских монастыря: один в Петербурге, а другой – на его малой родине в Сурском Погосте. Он щедро жертвовал средства на создание и украшение храмов в разных частях России.
Очень сильное влияние на людей оказывали его проповеди, в том числе пророческие проповеди и составленные им молитвы. Отец Иоанн провел, произнес, напечатал много бесед, проповедей, поучений и т. п. Он ясно представлял себе судьбу России в дальнейшем. В одной из проповедей в 1903 г. с амвона он открыто говорил: «Уже близко время, что разделится народ на партии, восстанет брат на брата, сын на отца, отец на сына и прольется много крови на Русской земле. Часть русского народа будет изгнана из пределов России; изгнанники вернутся в свои родные края, но не скоро, своих мест не узнают и не будут знать, где их родные похоронены». В своем предсмертном пророчестве в 1908 г. он писал: «Русский народ и другие населяющие Россию племена глубоко развращены, горнило искушений и бедствий для всех необходимо, и Господь, не хотящий никому погибнуть, всех пережигает в этом горниле».