Ревностно занялся Златоуст исправлением нравов собственного духовенства, обличением грубых пороков чувственных и корыстолюбия, и тем навлек на себя неудовольствие клира, привыкшего к послаблениям со стороны епископов. Не щадил он и сильных мира, утопавших в роскоши и разврате, и поражал словом уст своих ристалища и амфитеатры, которые временно опустели, как осушаются берега от волн, сгоняемых сильным ветром; волны народные нахлынули в церковь и уже кафедра святительская казалась слишком отдаленною для слышания златых словес Иоанна; он принужден был говорить с амвона, посреди церкви, и проповедовал по три раза в неделю, иногда же ежедневно изъяснял деяния и послания Апостольские, подобно как в Антиохии, соединяя толкование догматов с обличением еретиков и советами нравственными; но всего пламеннее внушал любовь к нищим и милостыне, как лучшее средство покаяния. Он умолял каждого устроить в собственном доме хотя одну комнату для убогих, отлагая для них еженедельно какое-либо малое пособие от своих избытков, и подавал тому лучший пример, ибо умерив расходы церковные, обратил их на устроение богаделен, где сам служил убогим. «Много ли нищих в городе в сравнении с богатыми? — восклицал он, — всех удовлетворить можно, и еще пребывать в довольствии; тогда не останется между нами не только убогих, но и язычников, ибо все обратятся к Богу столь благим примером». Завещателей умолял он в час смертный вспомнить в числе наследников и свою убогую душу, и оставить ей хотя малое наследие в лице нищих; сластолюбцам же внушал вставать ночью с пышных одров своих и созерцать течение светил небесных, посреди глубокого безмолвия и великой тишины, освежающей и облегчающей душу, ибо мрак и спокойствие пробуждают благоговение и люди, простертые на ложах своих, как бы в гробах, изображают кончину мира. «Вы же, — говорил пастырь, — пробудитесь и воспряньте, и преклоните с плачем колена; если есть у вас малые дети, и тех подымите, чтобы весь дом ваш обратился в дом молитвы!»
Возбуждая паству свою к благочестию, устроил он и чин богослужения церковного в большем благолепии, приспособив его и к немощи человеческой; посему сократил продолжительные молитвы литургии, которую св. Василий Великий изложил на хартии так, как принял ее, по устному преданию, от времен Апостольских; но литургия Василиева сохранилась для воскресных дней Великого поста и некоторых нарочитых праздников, литургия же Златоустова сделалась повседневною. Желая также противодействовать арианам, которые, по примеру своего ересиарха, вплетали ложные догматы в песни церковные, чтобы более вкоренить их в памяти народа, бдительный пастырь составил богословские гимны и учредил всенощные бдения, во время которых народ, стекавшийся в пышно освещенные храмы, поражаемый благолепием обрядов, слышал и чистое учение Православия, попеременно повторяемое сладостными ликами на обоих клиросах. Императрица Евдокия, супруга Аркадия, содействовала Златоусту в необходимых издержках для предметов церковных, и сам император, по внушениям пастыря, уклонялся от ариан.
Сильное искушение испытал он со стороны могущественного вождя Готфского Гаинаса, закоснелого в арианстве, как и все ему подвластные воины, который после смерти Руфина и падения Евтропия, был первым сановником империи и требовал для себя отдельной церкви в стенах столицы. Иоанн представил императору, что он не имеет права выдавать храмы Божий на поругание не верующим в Божество Христово, и пред лицом Аркадия состязался с надменным Готфом. Тщетно Гаинас выставлял все свои заслуги Римскому престолу; мудрый пастырь напомнил ему убогую вначале долю и настоящее его величие, как достойную награду заслугам гражданским; предлагал вступить в общение с православными, чтобы все храмы их были ему открыты, но никак не согласился уступить ни одной церкви вопреки канонам. Когда же немного времени спустя тот же Гаинас явно поднял оружие на своего Государя и все трепетали его гнева, один Иоанн не убоялся идти в стан раздраженного, чтобы преклонить к миру, и суровый Готф, тронутый его великодушием и святостью сана, вышел с честью к нему навстречу, поверг своих детей к ногам пастырским и отступил, хотя впоследствии одна только смерть прекратила его мятеж.
Не об одной только Церкви Константинополя заботился с такой ревностью бдительный пастырь, но и о всех дальних и ближних своего обширного экзархата, водворяя благочиние в шести епархиях Фракии, в одиннадцати Азии и одиннадцати Понта. Не были забыты и дикие Скифы, которых старался всеми средствами отвлечь от арианства и язычества, посылая к ним пресвитеров, диаконов и чтецов, знающих их наречие, простирая отеческие попечения и к тем из них, которые кочевали еще в шатрах на берегах Дуная; мужи апостольские явились к ним для проповеди и собственный их епископ Феотим, наследовавший Вританиону в городе Томах, скиф родом, под варварскою одеждой славился святостью жизни, так что и дикие Гунны, исполненные к нему уважения, называли его богом Римлян.