Иногда приходилось ему сопровождать товары на иногородние ярмарки и там стеречь их. Первая поездка в Нижний Новгород — красные кирпичные башни Кремля, венцом собирающиеся по крутому зеленому косогору; река, неторопливо, размеренно катившая тяжелые рыжеватые волны, — врезалась в память на всю жизнь. Город удивил его песенной красотой. Все свободное время проводил или на откосе, любуясь панорамой Волги, или на пристани. Другие поездки, в Кундравку, Мостовку, Ирбит, не были радостны: они совпали с зимой, с лютыми сибирскими морозами.
Ночуя в дощатых неотапливаемых складах, Иван зарывался в тюки мехов, чтобы не замерзнуть; провожая товары по заметенным снегом дорогам в коротеньком, почти догола вытертом полушубке, коченел от холода. Вспоминал: «Цепенея, с отмороженными ушами и пальцами, бежал за возами вприпрыжку в напрасной надежде согреться. Обессиленный, падал на воз, с которого меня пьяные приказчики, еле живого, стаскивали на почтовых станциях и, втаскивая в теплую избу, насильно вливали в рот водку из штофа, чтобы приведи в чувство».
Первые два года у Панфиловых были для Ивана очень трудными. На третий благодаря вниманию со стороны старшего сына владельца фабрики Александра Яковлевича стало много легче.
Александр Яковлевич был купцом по рождению, но не по призванию. Он был образован, любил музыку и живопись, в своих путешествиях по Европе неизменно посещал музеи и картинные галереи, много читал, знал наизусть поэмы Некрасова и целые страницы из романов Тургенева. У него была прекрасная библиотека, в которой хранились и запрещенные книги, как «Что делать?» Чернышевского. Екатеринбургская интеллигенция уважала его, и он был избран председателем Общества попечения о начальном образовании.
Александр Яковлевич не вмешивался непосредственно в установленные отцом порядки, но неизменно старался защитить рабочих и подмастерьев от оскорблений и обилия штрафов. Почувствовав, что за неумением Ивана приспособиться к обстоятельствам таится одаренная и поэтическая натура, он стал руководить его чтением, а потом и рассказывать то о своих путешествиях, то о знаменитых музыкантах и художниках. «Ты не смотри, что у него глаза — щели, — говорил он, показывая портрет Репина. — Не одни орлы смотрят на солнце. Через эти щели художник душу человеческую насквозь видит».
«Он был для меня «лучом света в темном царстве», — признавался Шадр.
Первое знакомство со стихами Некрасова (Александр Яковлевич декламировал ему «Русских женщин») потрясло Ивана. «Уткнувшись лицом в колени, плакал навзрыд». Такое же сильное впечатление произвела репродукция «Сикстинской мадонны», привезенная Панфиловым из Дрездена, и рассказ Панфилова об этой картине: «Смотришь и не налюбуешься, дышать не смею, рот рукой закрыл. Сижу час, два, и не знаю сколько, вот и рама исчезла, и стена исчезла, а я весь в лазоревых высях плаваю и плачу от радости. Кто-то потянул меня за рукав, оглянулся, а то был в забытьи. Сторож галереи. Пожалуйста, говорит, к выходу, закрываем, а я, брат, иду за ним и плачу».
Самозабвенно слушал Иван рассказы Александра Яковлевича, и тот, радуясь интересу подростка к искусству, всячески поощрял его: часами говорил с ним о картинах, показывал десятки гравюр и репродукций. Иван пробовал перерисовывать их — получалось. Дмитрий Евграфович хорошо научил его владеть карандашом. Однажды на белой стене нарисовал свой автопортрет в профиль с томиком Некрасова в руке и подписал: «Страдающий Иван». От старика Панфилова ему крепко попало, но портрет все признавали похожим, и Иван, уверившись в своих способностях, затаил в душе мечту стать художником.
Скоро представился случай испытать эти способности. В начале 1904 года из Екатеринбургской художественно-промышленной школы выбыло два ученика, и был объявлен конкурс на замещение вакансий. Иван пошел сдавать экзамен.
Как он отважился на такой решительный шаг? Сам? Падр писал, что все произошло по воле слепого случая. Од провинился в чем-то перед Панфиловым-отцом, и тот Йригрозил, что отправит его обратно в Шадринск. Как ни хртелось Ивану домой, но опять сесть на шею Дмитрию Евграфовичу, который и так с трудом кормил оставшуюся семью, было выше его сил. Не умея найти выход и не желая просить прощения, решил покончить с собой. По течению Исети добрел до пруда в центре города. Постоял, глядя, как загнанная в стойла плотин вода с грохотом падает вниз, прорываясь сквозь шлюзы Монетного двора. Не решился. Но на второй день опять дернулся к плотине — снова с мыслью о самоубийстве. И тут-то на одном из больших домов заметил вывеску: «Екатеринбургская художественно-промышленная школа».
Можно ли безусловно верить этому рассказу? В своих записях Шадр нередко придает простым фактам поэтическую окраску. Да и писал он по прошествии десятилетий, когда многое уже стерлось в памяти; писал отрывочно, возвращаясь мыслью к тому лишь, что казалось ему интересным, красочным.