Где-то в конце 1839-го или начале 1840 года — более точно время установить не удается — По с семьей переехал с Шестнадцатой улицы в дом на Коутс-стрит, выходящий окнами прямо на реку Шуйкиль. Находился он в противоположном от редакции «Бэртонс мэгэзин» конце города, и, чтобы добраться туда, По приходилось проделывать пешком путь длиной почти в три мили или ехать дилижансом, которые начиная с 1829 года ходили от кофеен на Фрэнт-стрит до набережной Шуйкиля. Дорога, которой обычно шел По, лежала вдоль длинной мрачной стены Центральной тюрьмы штата Восточная Пенсильвания, «огромной и внушительной, как крепость». Мимо этой каменной твердыни, всем видом своим напоминавшей о человеческих страданиях — «узники содержатся в одиночных камерах, своды которых многократно отражают и усиливают каждый звук», — поэт проходил дважды почти каждый день.
Дом представлял собой трехэтажное кирпичное здание с крыльцом из белого мрамора, стоявшее на небольшом, треугольной формы участке, образованном пересечением улиц Коутс-стрит и Фэрмаунт-драйв с каким-то безымянным переулком. Это было, наверное, самое удобное жилище из всех, где им доводилось останавливаться с тех пор, как они покинули Ричмонд. Местность вокруг была тогда открытая, если не считать нескольких разбросанных там и сям домов; правда, совсем близко находился железнодорожный парк, где вагоны перегонялись в ту пору конной тягой, но зато из окон открывался прекрасный вид на реку и окрестности.
На берегу реки, прямо у подножия небольшой возвышенности, на которой стоял дом, одиноко маячила диковинная постройка, известная в городе под названием «Пагоды»; создателем ее был знаменитый своими эксцентричными вкусами архитектор Браун. Это китайского вида сооружение было частью построенного по его же проекту ипподрома, к тому времени уже заброшенного. Впрочем, здесь все еще можно было порою видеть не чуждых спортивного духа филадельфийских джентльменов, которые выезжали своих чистокровных скакунов, запряженных в легкие беговые колесницы. Прямо за домом высилась дроболитейная башня — одна из тех, что долго оставались характерной приметой филадельфийского пейзажа. Новое жилище По состояло из располагавшихся на первом этаже столовой и гостиной (она же его рабочий кабинет), и нескольких просторных спален, помещавшихся на втором. Кухня находилась в полуподвале. По-видимому, именно в доме на Коутс-стрит было написано большинство статей и рассказов, появившихся в журнале Грэхэма, и, вероятно, здесь же По впервые почудился шорох крыльев «Ворона». В одной из спален наверху он иногда проводил целые недели, прикованный к постели болезнью.
Близость реки позволяла По заниматься плаванием — единственным видом физических упражнении, к которому он имел привычку и склонность. С переездом на Коутс-стрит следует также связывать пробуждение у него интереса к природе близлежащих окрестностей. Теперь он часто отправлялся на пикники и лодочные прогулки вверх по рекам Шуйкиль и Виссахикон, а иногда и в охотничьи экспедиции. В семье Детвайлеров, жившей по соседству с По, около Лемон-хилл, вспоминали поездку на лодке в плавни за камышовой дичью, совершенную По вместе с одним из молодых Детвайлеров. Любопытно, что на веслах сидел последний, а стрелял знавший толк в охоте По, который вернулся из похода с богатой добычей.