Когда появлялись именитые гости, то, возможно, «нахлебники» редели, но, может быть, именитые не очень замечали окружающих. Александр Дюма-отец, прибывший в Россию вместе с семьей Кушелевых и приглашенный пожить во дворце, ни слова не говорит о толпах. Он подробно описывает предоставленное ему во дворце помещение: «Мои апартаменты были на первом этаже и выходили в сад, полный цветов. Они примыкали к большому прекрасному залу, используемому как театр, и состояли из прихожей, маленького салона, бильярдной, спальни для Муане (спутник Дюма, художник. — Б.Е.) и спальни для меня». Затем Дюма сообщает, очевидно, со слов хозяев, что во дворце находится 80 слуг, а в парке — две тысячи (садовников? крестьян?), и ни слова о гостях. Зато зоркий завсегдатай Д.В. Григорович видел изнанку графского гостеприимства, он удивлялся в своих «Литературных воспоминаниях» дворцу, переполненному жильцами, то есть совсем не аристократическому, а скорее разночинному, плебейскому Вавилону: «Странный вид имел в то время этот дом, или, скорее, общество, которое в нем находилось. Оно придавало ему характер караван-сарая, или, скорее, большой гостиницы для приезжающих. Сюда по старой памяти являлись родственники и рядом с ними всякий сброд чужестранных и русских пришлецов, игроков, мелких журналистов, их жен, приятелей и т.д. Все это размещалось по разным отделениям обширного когда-то барского дома, жило, ело, пило, играло в карты, предпринимало прогулки в экипажах графа, ни мало не стесняясь хозяином, который, по бесконечной слабости характера и отчасти болезненности, ни во что не вмешивался, предоставляя каждому полную свободу делать что угодно».
Насчет чужестранного сброда Григорович не совсем прав, гостили и почтенные люди: Александр Дюма-отец, известный американский магнетизер Даниэль (Дуглас) Юм; последний познакомился с графом в Италии и оказался не прочь породниться — женился на свояченице графа (сестре жены); свадьбу пышно отпраздновали уже в Петербурге, одним из шаферов был известный поэт граф А.К. Толстой, и Дюма на ней присутствовал; поэтому Юм жил у графа на правах родственника. Но в целом Григорович был прав насчет «сброда».
Добрую половину своих постояльцев граф и в лицо не знал! Если Григорьев живал у графа в зимнем или летнем дворце, то очень мало вероятно, чтобы он туда привозил Марию Федоровну. По имеющимся сведениям, во дворце у него была своя комната, но ночевать он обычно уезжал «домой». Его дядя Николай Иванович Григорьев на вопрос своей дочери Варвары о Юме описал ей интересный эпизод (письмо от начала сентября 1860 года): «Аполлон коротко его знает, потому что он жил при нем у своего свояка г-фа Кушелева в доме, — с Аполлоном, или то есть Аполлону Юм раз проходя вечером из комнаты в другую, пожал подойдя к нему ни с того ни с сего его руку, сказав ему: «Вы сегодня будете видеть вашу мать» и ушел. Аполлон посмеялся мистификации, забыл предсказание, кончил свои журнальные занятия и уехал домой; но в эту ночь видел ясно свою мать — разумеется, не спавши — в саване, с закрытым лицом идущею к нему из другой комнаты, — когда он разбирал у стола литературные произведения чьи-то. — Он позвал бывших в другой комнате людей, и привидение исчезло».
Не любя «караван-сараи», Григорьев и летом 1859 года снимал в Полюстрове недалеко от дворца Кушелева-Безбородко отдельную дачу, где уже, наверное, жил вместе с М.Ф. Дубровской. Если это та самая дача, которую он снимет и в 1860 году, то, по воспоминаниям Н.Н. Страхова, это был «крошечный домик, стоящий в конце Полюстрова, посреди ровного зеленого болотца».
Сведения о дальнейшей совместной жизни Аполлона Александровича и Марии Федоровны тоже очень туманны. Мемуаристы сообщают, что в 1860 году Григорьев жил в доме Лопатина, длиннейшем двухэтажном каменном строении, простиравшемся по Невскому проспекту от угла Лиговки чуть ли не до Николаевской (ул. Марата). Дом не сохранился, в 1874 году он был разрушен, сквозь него проложена Новая улица, потом названная Пушкинской. Непонятно, покинул ли Григорьев Дубровскую или они переехали вместе из дома Логинова в дом Лопатина? Не знаем еще, вместе ли они уезжали из Петербурга в Оренбург в 1861 году или Мария Федоровна догоняла его уже в дороге? В поэме «Вверх по Волге» есть странные строки: