26 июля он пишет Аллану, что уже объяснил ему все, нуждавшееся в объяснении, и испробовал для достижения цели все имевшиеся у него средства. Находясь в большом замешательстве, он хотел бы, чтобы Аллан наставил его, как поступить. Он добавляет, что охотно возвратился бы в Ричмонд, ежели бы опекун не дал ему понять, что не слишком желает его видеть.
В августе 1829 года в жизни По произошли изменения, имевшие для него исключительно важные последствия, - он поселился у своей тетки Марии Клемм, которая занимала в то время второй этаж небольшого двухэтажного дома на Милкстрит. Кроме самой мисс Клемм, здесь жили ее дочь Вирджиния и сын Генри, старая миссис По (бабка Эдгара по отцовской линии) и его брат, Вильям Генри Леонард По. Появление По еще более усугубило тесноту и скудость, в какой приходилось жить этим несчастным людям. В одном из писем Джону Аллану По говорит, что миссис По разбита параличом, миссис Клемм тоже постоянно хворает, а брат его Генри сделался таким горьким пьяницей, что совершенно не в состоянии о себе заботиться.
Погрязшее в нищете семейство Клеммов-По с трудом перебивалось на пенсию г-жи "генеральши" По, жалкие заработки Генри Клемма, ученика каменщика, мелкие суммы, изредка получаемые Эдгаром из Ричмонда, и деньги, которые миссис Клемм зарабатывала шитьем, когда была в силах им заниматься. Генри По, оставивший морскую службу и подвизавшийся в качестве клерка в какой-то адвокатской конторе, был смертельно болен туберкулезом и к тому же, как пишет По, предавался безудержному пьянству.
По делил комнату в мансарде с братом, за которым уже тогда помогал ухаживать. В этом доме поэт впервые встретился со своей семилетней двоюродной сестрой, ставшей впоследствии его женой. В ту пору Вирджиния была шаловливой пухленькой девочкой с синими глазами и темно-каштановыми волосами, очаровывавшей всех своим веселым и ласковым нравом. Вскоре между ней и взрослым двоюродным братом возникла нежная привязанность, полная детской доверчивости и обожания с ее стороны и покровительственной заботы с его. Миссис Клемм была женщиной, наделенной чрезвычайно сильными материнскими чувствами, и молодой племянник сразу же нашел место в ее добром сердце. Так было положено начало отношениям, оказавшим, может быть, самое благотворное и в то же время самое пагубное воздействие на дальнейшую жизнь По.
Памятуя о печальной судьбе, постигшей первую книгу из-за полной безвестности автора, По, окончательно обосновавшийся в мансарде дома на Милкстрит, всю осень и зиму 1829 года занимался тем, что рассылал редакторам и критикам письма и рукописи стихов, стараясь подготовить почву для публикации "Аль-Аарафа" - дело, которое он был преисполнен решимости довести до конца вопреки всему - Джону Аллану, Всст-Пойнту, бедности и отсутствию необходимых для работы условий.
Стремиться к самоутверждению и самовыражению в литературном творчестве его побуждали всепоглощающие чувства и желания, владевшие его душой, но часто не находившие удовлетворения в реальной жизни, и то глубокое ощущение ценности собственной личности, ее права на независимое существование, которое зовется гордостью. Не случайно он давно уже избрал своим наставником Байрона - и не только поэтическим, но и духовным. Из Балтимора он писал Джону Аллану, что больше не считает Байрона образцом для себя, и в определенном смысле это правда, ибо он был уже достаточно зрелым человеком и художником, чтобы понять, как ничтожно мало можно достичь одним лишь подражательством. Необходимость самобытности в творчестве - даже в использовании заимствованных тем и художественных приемов - была для него очевидна.
Итак, невзирая на все удары, а порою и издевки судьбы, великий труд продолжался. Поглощенный работой, Эдгар редко покидал мансарду, где его умирающий брат лежал теперь целыми днями, сотрясаясь от надсадного кашля, или, исчезнув утром, возвращался за полночь, едва держась на ногах, и принимался заплетающимся языком похваляться своими подвигами и приключениями в Южной Америке и иных далеких и прекрасных заморских странах. В такие минуты По ловил и запоминал каждое его слово.