В 1863–1864 годах оба петербургских кадетских корпуса были преобразованы в общевойсковые Константиновское и Павловское военные училища. Но уже в мае 1864 года юнкер Павловского военного училища Николай Ярошенко с прекрасными показателями успеваемости переходит в Михайловское артиллерийское училище, начальник которого спустя год получит от Александра Михайловича Ярошенко письменную просьбу отправить сына «…на службу в одну из частей артиллерии, расположенных в С.-Петербурге».
Кроме планов поступления наследника в Михайловскую артиллерийскую академию, мотив обращения Ярошенко-старшего продиктован ещё увлечением Николая живописью. Столица для серьёзных занятий оной предоставляла куда больше возможностей. Николай Ярошенко, уже имевший случай проявить твёрдость характера, своё тяготение к искусству не скрывал, но и сворачивать с армейской стези не намеревался. Не исключено, что таково было желание отца, а в подчинении родительской воле недавний юнкер видел свой безусловный сыновний долг. Но, скорее всего, трезво мыслящий молодой человек сам рассматривал военную карьеру как гарант материальной стабильности, о которой свободные художники могли только мечтать. Занимаясь живописью, Ярошенко не желал впадать в зависимость от прихотей судьбы в лице случайных заказчиков.
Просьба отца восемнадцатилетнего подпоручика Николая Ярошенко не была, однако, удовлетворена. Сын был отправлен в артиллерийскую бригаду, стоявшую в Харьковской губернии. Положенный срок службы в бригаде прошёл для Николая Александровича наверняка совсем не так быстро и невнятно, как для его биографов, не располагающих на сей счёт никакими сведениями. Известно только, что в октябре 1867 года Ярошенко вернулся в Петербург для обучения в Артиллерийской академии.
Можно представить, какой самодисциплины стоило молодому офицеру соединение в учебных буднях добросовестного постижения военных наук и неослабевающего упорства в овладении техникой рисунка и живописи. Николай стал посещать занятия хорошо известной в Петербурге Рисовальной школы на Бирже, и здесь произошло его во многом судьбоносное знакомство с преподававшим в школе Иваном Николаевичем Крамским, быстро оценившим художественный потенциал молодого артиллериста.
Соученики Ярошенко по Рисовальной школе мало что о нём знали, более того, они даже не имели понятия, как зовут не слишком разговорчивого офицера. Так проявляли себя вовсе не стеснительность или высокомерие, а сосредоточенность на цели своего присутствия в школе и уважительное отношение к людям, на внимание которых к себе начинающий художник пока не считал себя вправе рассчитывать. Николай Александрович и потом был таким – мужественным, деликатным, любившим и ценившим общение, но предпочитавшим держать в тайне личные переживания.
Упорство и полученные художественные навыки позволили Ярошенко в скором времени стать вольнослушателем Академии художеств. Особого пиетета к ней молодой живописец не испытывал уже тогда, рассматривая главное художественное учебное заведение как необходимую школу технического мастерства. Стремление стать подлинным профессионалом было столь велико, что академические занятия Ярошенко дополнял посещением рисовальных вечеров у Ивана Крамского и Павла Брюллова, а для приобретения необходимых художественных принадлежностей давал частные уроки по математике и физике. В академическую пору своего становления Ярошенко сблизился с кружком литераторов, группировавшихся вокруг журнала «Отечественные записки», в том числе с Михаилом Салтыковым-Щедриным, Всеволодом Гаршиным, Алексеем Плещеевым. А покровительство Крамского познакомило его с рождённой в противостоянии академии Артелью художников.
Произведённый по окончании Михайловской артиллерийской академии в штабс-капитаны, Николай Ярошенко в 1870 году был назначен «заведующим штамповальной мастерской в снаряжательном отделе петербургского Патронного завода». Задачи перевооружения российской армии стояли тогда чрезвычайно остро. Навалившиеся серьёзные служебные обязанности, казалось бы, не должны были сохранить Ярошенко для искусства, но молодой офицер упорно продолжает считает живопись своим основным жизненным предназначением.
Рабочий день офицера-артиллериста начинался в девять часов утра. Решение бесчисленных технических и административных вопросов занимало Николая Александровича до четырёх часов дня. А потом, экономя поначалу даже на извозчике, он быстрым шагом, почти бегом, добирался до дома, чтобы после короткого обеденного перерыва отправиться на академические занятия. С годами Николай Александрович научился правильно перераспределять нагрузку. Чтобы иметь возможность заниматься живописью при дневном освещении, кое-что из служебных дел он исполнял дома, вечерами, но степень его занятости долгие годы оставалась запредельной.