В числе многих посещавших дом людей был кузен миссис Аллан, Эдвард Валентайн, души не чаявший в Эдгаре. Этот молодой человек, слывший большим мастером на всякого рода розыгрыши и плутовские проделки, научил мальчика нескольким забавным трюкам. Один из них, древний как мир, заключался в том, чтобы незаметно выхватить стул из-под садящегося на него человека. К несчастью, эту новую для него шутку Эдгар сыграл с одной величавой, преисполненной чувства собственного достоинства дамой, за что был отведен Джоном Алланом в спальню, где его дерзость была наказана старомодным, но весьма действенным способом. Спустя несколько минут туда со слезами на глазах поспешила миссис Аллан, чтобы утешить своего обиженного любимца.
В противовес излишне снисходительной жене мистер Аллан со свойственной ему добросовестностью воспитывал мальчика в более суровом духе, отвечавшем его представлениям о правильной педагогической методе. Поэтому, когда ребенок "вел себя хорошо", его поощряли, однако любое проявление своеволия или непослушания каралось обычным для тех времен наказанием, которому, как говорят, его подвергали по различным поводам и с чрезмерной жестокостью. Обе женщины и даже жившие в доме слуги старались при малейшей возможности уберечь его от этих экзекуций.
Систематическим образованием Эдгара занялись очень рано. Пяти лет, еще совсем ребенком, его отдали в школу, где он быстро начал делать успехи. Первые его наставники самым лестным образом отзывались о его любознательности и прилежании. Он проявлял неподдельный интерес к занятиям и своим менее усидчивым сверстникам, которых нелегко было застать за книгой, казался, наверное, загадкой природы.
Детские годы выросшего на рабовладельческом Юге По были также отмечены знакомством с жизнью и бытом американских негров, чей фольклор - причудливые и страшные сказки, тоскливые песни, самозабвенные, пронизанные ритмом пляски - оставил глубокий след в воображении мальчика.
Как и к другим детям из хороших виргинских семей, к нему была приставлена нянька-негритянка, которая оставалась в доме вплоть до отъезда Алланов в Англию в 1815 году. Красочный и диковинный мир чернокожих рабов был чаще всего скрыт от ослепленных собственным превосходством белых хозяев; взрослым представителям господствующей расы редко удавалось проникнуть в их "темные тайны", приобщиться к их расцвеченному колдовскими фантазиями восприятию действительности. Иное дело дети - к ним относятся по-особому, и для всеобщего любимца Эдгара, должно быть, всегда находилось место у очага на кухне в ричмондском доме, где по вечерам собирались все слуги, или в какой-нибудь хижине на плантации, куда он часто ездил с Джоном Алланом.
Еще одним обильным источником впечатлений для юного По были нескончаемые истории о морских путешествиях, которые рассказывали часто бывавшие у Алланов капитаны, торговцы и искатели приключений, чтобы отблагодарить хозяев за вкусный обед и приятную беседу. Многое в написанных им позднее морских рассказах, вероятно, навеяно услышанным в те долгие вечера у камина.
Однажды летом, когда Эдгару было лет шесть, Алланы отправились навестить своих родственников Валентайнов, живших в Стонтоне. Небезызвестный уже Эдвард Валентайн любил совершать вместе с Эдгаром долгие прогулки верхом, усадив мальчика в седло позади себя. Впоследствии он рассказывал, что как-то раз, возвращаясь домой с деревенской почты, где Эдгар изумил поселян своей ранней ученостью, прочитав вслух последние новости из газеты, они проезжали мимо какойто дощатой лачуги, рядом с которой виднелось несколько могильных холмиков. Внезапно Эдгар весь затрепетал, объятый таким паническим ужасом, что Валентайн вынужден был пересадить его вперед, чтобы как-то успокоить, однако тот продолжал выкрикивать испуганным голоском: "Они догонят нас и утянут меня в могилу!" Когда его стали позднее расспрашивать, он признался, что его "нянька" имела обыкновение брать его с собой по вечерам туда, где собирались остальные слуги, из чьих уст он и слышал страшные кладбищенские истории о встающих из могил покойниках и жутких привидениях.
Вскоре, однако, Эдгару пришлось на время расстаться с родиной, чтобы увидеть другой, быть может, более сложный и цивилизованный мир, именуемый Старым Светом. В 1815 году был заключен положивший конец войне Гентский договор, и Джон Аллан решил предпринять вместе с семьей долго откладывавшееся путешествие в Англию и Шотландию.