Ко времени кончины Василия Алексеевича его сын Дмитрий Васильевич был уже мужем и отцом. В брачном союзе с Марией Алексеевной Воейковой он растил пятерых детей: близнецов Василия и Веру, сыновей Алексея и Константина и младшую дочь Елену, которую дома все называли Лилей. До женитьбы Дмитрий Васильевич служил секретарём русской миссии в Греции, увлёкся археологией и собрал изрядную коллекцию греческих древностей, сохранённую впоследствии его сыном Василием, родившимся в Петербурге 20 мая (1 июня) 1844 года. На родине Дмитрий Поленов, будучи секретарём Русского археологического общества, изучал летописи, ездил по монастырям. Он даже намеревался подготовить к публикации упомянутый труд деда-эмансипатора, но так и не рискнул.
Первые уроки рисования и живописи супруга Дмитрия Васильевича дала своим детям сама. Василий Дмитриевич Поленов никогда не заблуждался относительно истоков своей неодолимой тяги к искусству. Художественный дар им определённо был получен от матери. Умением владеть карандашом и кистью, склонностью к литературному творчеству Мария Алексеевна, в свою очередь, была обязана талантам своего деда Николая Александровича Львова – поэта, переводчика, музыканта, архитектора, графика. Советы самого Карла Брюллова и занятия с учеником великого Карла позволили матери будущего художника прилично овладеть искусством живописи. А литературные способности водили пером Марии Алексеевны, когда она писала книжку для детей «Лето в Царском Селе».
После раздела внуками Алексея Яковлевича Поленова его северной олонецкой вотчины весной 1855 года семья Дмитрия Васильевича в полном составе впервые посетила Имоченцы, затерянные в диких, поистине дремучих лесах. Дети открыли для себя великолепие девственного края, убаюканного звенящей тишиной и укрытого в начале лета белыми ночами. Места эти, избежавшие монголо-татарского нашествия, были чем-то вроде заповедника старого русского быта и архитектуры. Даже обычаи и сам характер здешних людей заметно отличались от нравов, царивших в центральных российских губерниях. Василий преданно полюбил Олонецкий край, считал его своей второй родиной и не один год находил здесь вдохновение для писания с натуры.
Осенью 1858 года в Петербурге Василий Поленов впервые увидел картину Александра Иванова «Явление Христа народу», и она поразила его. Вскоре Поленов стал одним из первых учеников будущего прославленного педагога Павла Петровича Чистякова, а тогда – скромного студента Академии художеств. Кто-то из его воспитанников впоследствии справедливо заметил, что если из Третьяковской галереи и Русского музея удалить картины учеников Чистякова, то эти богатейшие сокровищницы русского искусства практически опустеют. Павел Петрович стал семейным педагогом Поленовых. Дважды в неделю под его руководством дети осваивали строгие законы рисунка, постигали секреты живописи, и Василий заметно выделялся каким-то врождённым чувством цвета. Успехи юных Поленовых неопровержимо свидетельствовали о высоком педагогическом потенциале Чистякова, но в деле художественного образования старшего сына Мария Алексеевна больше надежд возлагала на занятия в академическом классе профессора Фёдора Ивановича Иордана.
Между тем Василию скоро семнадцать. Всего себя он мечтает посвятить художественному творчеству, родители же настаивают на обязательном для его круга университетском образовании. Было решено, что в Петрозаводске, где Дмитрий Васильевич работал в комиссии по подготовке крестьянской реформы, Василий за два года освоит программу всего гимназического курса и сдаст экзамены для последующего поступления в университет.
Очарованный искусством юноша прекрасно понимал, что изучение гимназических дисциплин помешает развитию его страстного романа с живописью, но делать нечего, он вынужден подчиниться. Своим кругозором юный Поленов был обязан достойному домашнему образованию, не вполне, однако, совпавшему с требованиями гимназической программы. Пришлось много заниматься. Частные уроки познакомили Василия с преподавателем словесности Иваном Петровичем Хрущовым, оказавшим на юную душу благотворное влияние. Хрущов стал завсегдатаем дома Поленовых, и степень доверия к нему достигла такого уровня, что Дмитрий Васильевич даже познакомил молодого учителя с подготовленной им биографией своего славного предка – того самого «первого русского эмансипатора». Самого же Хрущова более всего прочего влекла к Поленовым их милейшая сестра и дочь – Вера Дмитриевна. Молодой педагог сделал ей предложение, и после состоявшейся в Петербурге свадьбы новобрачные отправились за границу. А Василий, вернувшись в столицу, поступает на физико-математический факультет Петербургского университета и почти одновременно с этим становится вольнослушателем Академии художеств. Шёл 1863 год.