На протяжении всего пребывания Эдгара По в Балтиморе, с мая до конца 1829 года, письма, которые он получал от Джона Аллана, были полны саркастических замечаний, подозрении и упреков. Время от времени из Ричмонда приходили деньги — как раз вовремя, чтобы спасти его от голода, однако скрупулезность, с какой он отчитывается перед опекуном за каждый истраченный цент, дает ясное представление об условиях, которыми сопровождалась эта помощь. Помимо нескончаемых сетований на то, что По упорствует в намерении «транжирить» деньги на издание никчемных виршей, обычной темой этих писем были неотступно преследовавшие старика подозрения, связанные с размером вознаграждения, выплаченного сержанту, занявшему место По в 1-м артиллерийском полку. Развеять их но могли никакие самые очевидные факты и убедительные объяснения. Не оставляли его и сомнения в усердности хлопот, предпринимаемых воспитанником для получения назначения в Вест-Пойнт. И потому По не упускал возможности продемонстрировать серьезность своих намерений в отношении военной карьеры. Его подстегивала бедность, в которой, быть может сознательно, держал его Аллан. И вот 23 июля он отправляется пешком в Вашингтон, истратив накануне почти весь долгожданный перевод из Ричмонда на оплату счета в гостинице.
В Вашингтоне он был принят лично министром обороны, который сказал ему, что число слушателей в Вест-Пойнте на десять человек превышает предписанное, однако посоветовал не забирать рекомендательных писем, потому что во время пребывания кадетов в летних лагерях подается больше всего прошений об отчислении из академии. Если количество таковых окажется больше десяти, то он может быть уверен, что в сентябре получит, наконец, назначение. Если же этого не произойдет, то По, заверил его министр, будет одним из первых, кого примут в следующем году. По высказал опасения, что тогда ему может помешать возраст, однако министр успокоил его, заявив, что ему будет двадцать один год вплоть до того дня, когда исполнится двадцать два. Прощаясь, министр заметил, что По совсем не обязательно было самому приезжать в Вашингтон. После чего По совершил «приятное» путешествие обратно в Балтимор. Опять-таки пешком.
26 июля он пишет Аллану, что уже объяснил ему все, нуждавшееся в объяснении, и испробовал для достижения цели все имевшиеся у него средства. Находясь в большом замешательстве, он хотел бы, чтобы Аллан наставил его, как поступить. Он добавляет, что охотно возвратился бы в Ричмонд, ежели бы опекун не дал ему понять, что не слишком желает его видеть.
В августе 1829 года в жизни По произошли изменения, имевшие для него исключительно важные последствия, — он поселился у своей тетки Марии Клемм, которая занимала в то время второй этаж небольшого двухэтажного дома на Милкстрит. Кроме самой мисс Клемм, здесь жили ее дочь Вирджиния и сын Генри, старая миссис По (бабка Эдгара по отцовской линии) и его брат, Вильям Генри Леонард По. Появление По еще более усугубило тесноту и скудость, в какой приходилось жить этим несчастным людям. В одном из писем Джону Аллану По говорит, что миссис По разбита параличом, миссис Клемм тоже постоянно хворает, а брат его Генри сделался таким горьким пьяницей, что совершенно не в состоянии о себе заботиться.
Погрязшее в нищете семейство Клеммов-По с трудом перебивалось на пенсию г-жи «генеральши» По, жалкие заработки Генри Клемма, ученика каменщика, мелкие суммы, изредка получаемые Эдгаром из Ричмонда, и деньги, которые миссис Клемм зарабатывала шитьем, когда была в силах им заниматься. Генри По, оставивший морскую службу и подвизавшийся в качестве клерка в какой-то адвокатской конторе, был смертельно болен туберкулезом и к тому же, как пишет По, предавался безудержному пьянству.
По делил комнату в мансарде с братом, за которым уже тогда помогал ухаживать. В этом доме поэт впервые встретился со своей семилетней двоюродной сестрой, ставшей впоследствии его женой. В ту пору Вирджиния была шаловливой пухленькой девочкой с синими глазами и темно-каштановыми волосами, очаровывавшей всех своим веселым и ласковым нравом. Вскоре между ней и взрослым двоюродным братом возникла нежная привязанность, полная детской доверчивости и обожания с ее стороны и покровительственной заботы — с его. Миссис Клемм была женщиной, наделенной чрезвычайно сильными материнскими чувствами, и молодой племянник сразу же нашел место в ее добром сердце. Так было положено начало отношениям, оказавшим, может быть, самое благотворное и в то же время самое пагубное воздействие на дальнейшую жизнь По.
Памятуя о печальной судьбе, постигшей первую книгу из-за полной безвестности автора, По, окончательно обосновавшийся в мансарде дома на Милкстрит, всю осень и зиму 1829 года занимался тем, что рассылал редакторам и критикам письма и рукописи стихов, стараясь подготовить почву для публикации «Аль-Аарафа» — дело, которое он был преисполнен решимости довести до конца вопреки всему — Джону Аллану, Всст-Пойнту, бедности и отсутствию необходимых для работы условий.