Но совместное житье-бытье оказалось совсем не безоблачным. Да и что в григорьевской жизни было безоблачным?! Прежде всего выяснилось большое различие в духовных уровнях, в идеалах и вкусах. Малообразованной Марии Федоровне были совершенно чужды творческие интересы Аполлона Александровича, его свободному антимещанскому поведению противостояла ее оглядка «как у людей», ее запачканная прежней грязью душа была очень закомплексована, ей постоянно мерещились косые и пренебрежительные взгляды, она постоянно ревновала любимого ко всем женщинам; лишенная воспитания и сдерживающих начал, она устраивала дикие сцены, била посуду и оконные стекла, впадала в безумную истерику и проч., и проч. Познакомившийся с ней позднее Ф.М. Достоевский, наверное, использовал некоторые ее буйные черты, рисуя своих героинь с непредсказуемым поведением.
Вскоре, с осени 1859 года, наступили и материальные трудности. Пока Григорьев был в первом полугодии ведущим сотрудником кушелевского «Русского слова», он получал много денег и тратил их бездумно. Как он честно сообщал в поэме «Вверх по Волге»:
А потом наступили черные дни. В конце 1859 года Мария Федоровна родила мальчика, и отцу ребенка пришлось переживать, как он говорил потом, «некрасовскую ночь», имея в виду похожий сюжет из известного стихотворения Некрасова «Еду ли ночью по улице темной…». В квартире стоял адский зимний холод — не было дров. Мария Федоровна лежала больная после родов. Ребенок безнадежно плакал — у матери не было молока (вскоре мальчик умер). У взрослых не было денег на еду. И как раз в этот момент из Москвы приехал Эдельсон — стыдить и увещевать друга Аполлона за его беспутную жизнь и требовать, чтобы он помогал оставленной семье (помимо жены и детей был еще жив старый отец). Но сам Эдельсон ни копейкой не помог обедневшему другу, что тот помнил потом очень долго.
Неясно, постоянно ли жил Григорьев вместе с Дубровской в радужное время первой половины 1859 года, когда он интенсивнейше трудился у графа Кушелева-Безбородко в «Русском слове». Редакция журнала располагалась во дворцах графа, и помощнику главного редактора было сподручно пребывать в резиденции целый день, да и ночевать там было удобнее, чтобы утром сразу засесть за работу. Зимний дворец графа помещался на Гагаринской улице (нынешний адрес — ул. Фурманова, 3), это второй в Петербурге мраморный дворец после известного царского (точнее — великокняжеского) у Марсова поля (позднее Александр II купит кушелевский дворец для своей невенчанной жены княгини Юрьевской). Флигель его выходил на Гагаринскую набережную (нынешний адрес — наб. Кутузова, 24), напротив дома на Неве была пристань. А в двух верстах выше по течению Невы и на другой ее стороне был расположен летний дворец, тогда — загородный (ныне — Свердловская наб., 40) — оригинальное творение архитекторов В.И. Баженова (основной корпус) и Дж. Кваренги (флигели), с обилием чугунных львов вдоль всего фасада, держащих в зубах цепи; перед Домом на Неве тоже была своя пристань, которая в переделанном виде сохранилась до наших дней. В летние месяцы граф вместе с домочадцами и с редакцией «Русского слова» перебазировался в этот дворец; между дворцами курсировали нанятые лодки.
Гостеприимный граф и зимой держал свой дом-дворец открытым для друзей и знакомых, а в теплые месяцы его летний дворец вообще превращался в своего рода санаторий для многих десятков любителей вольной (и бесплатной) жизни.