Однако чем дальше, тем больше он входил в немилость к местному чиновничеству, усмотревшему опасность в чересчур творческом подходе Ершова к своим лекциям. Хотя посредственность и в наши дни всё та же: не любит людей талантливых, ибо понимает, что рядом с ними выглядит сама весьма серой и неинтересной. А чиновничество в XIX веке было по большей части сковано и невеликой общей культурой, и железными инструкциями, исходящими от людей, прежде всего боявшихся какого-либо изменения привычной и порой весьма доходной жизни. «У нас, братец, такая строгость, что преподаватель не должен сметь своё суждение иметь, иначе назовут немного не бунтовщиком», – пишет Ершов приятелю. Он начинает подумывать вновь о Петербурге, о насыщенной культурной жизни, о бывших друзьях, об устройстве там в печати своих новых произведений. Но проза жизни, его женитьба после смерти матери на вдове подполковника инженерии Серафиме Лещёвой, о которой он поведал: «а приданое – красота, ангельский характер и четверо милых детей», отодвинула надолго эти планы.
Брак продлился 5 лет, затем женщина умерла при родах. Ершов снова женился – уже на Олимпиаде Кузьминой, но и этот брак завершился в 1853 году в связи со смертью супруги. Словно какой-то мистический рок по-прежнему преследовал его. И, словно борясь с ним, желая всё-таки наладить личную жизнь, Петр Павлович женится в третий раз, на Еленой Черкасовой, с которой, слава богу, прожил до конца жизни. Всего в браках у Петра Ершова родились 15 детей, но семейные беды продолжались в связи с утратой любимых детей. В трёх браках из пятнадцати детей выжили только шестеро.
И всё чаще поэт вспоминал, как его в детстве, дабы избавить от серьёзной болезни, по привычкам того времени, «продали» нищему за один грош. Болезнь отступила, но плата оказалась более чем…
И всё-таки поэтическая сущность время от времени отрывала его от невезения и бед, и тогда появлялись такие стихи:
Но вернёмся к его каждодневному в эти годы труду. Стараясь действенно повлиять на состояние образования, и не только в Сибири, Ершов, работает над «Программой курса словесности» для гимназий, организует театр, где артисты – сами учащиеся. И могло ли быть иначе, когда вне гимназии Пётр Павлович в это время был вхож в круг отбывающих ссылку декабристов – П. Бобрищева-Пушкина, И. Пущина, И. Анненкова, А. Муравьёва, И. Якушкина и других. К слову сказать, именно Ершов отправил в Петербург копию знаменитого стихотворения Пушкина «Мой первый друг, мой друг бесценный…», посвященного И. Пущину.
Эти встречи словно помогают Ершову и в творчестве. Он пишет стихи, пьесы, отсылает свои произведения в Петербург, что-то выходит в свет в журналах и альманахах. Но по-прежнему не даётся задуманный ещё в Петербурге «Иван-царевич». В то же время зрелый ум, раздумья не только о литературе, но и о самой жизни, личные переживания всё чаще открывают перед ним глубину и мудрость православия, божественную красоту природы и человеческой души, что находит отражение прежде всего в его стихах.