Казаков познакомился с братом Конецкого Олегом, искусствоведом, пробовавшим себя в прозе (под псевдонимом Базунов), и матерью братьев Любовью Дмитриевной, хрупкой, но волевой интеллигентной женщиной, в молодости артисткой миманса в труппе Дягилева, посетившей с театром Францию и Англию. В их доме, где Любовь Дмитриевна хозяйничала безраздельно, царило некое неуловимое напряжение, какое ощущаешь в старинных петербургских квартирах, вобравших в себя дыхание длинной череды поколений. Быт здесь наслаивался органично и медленно: висели старинные семейные иконы, на стене можно было увидеть в рамочках фотографии дягилевской артистки Матильды Конецкой (любимой тетушки братьев) – в балетных костюмах; на столике лежали шахматы, подаренные кому-то из родственников чуть ли не самим Алехиным… Тут все было подлинное – и гравюры, и рисунки, изобилие цветов и никаких мещанских украшений. Об этих стенах Олег Базунов писал в повести «Мореплаватель»: сколько в них «смиренного, скромного, немого достоинства, сколько созерцательно-поэтической мудрости, сколько знают, сколько таят они про себя – эти самые стены – жизненных перипетий и пыла родственных чувств, сколько запечатлено ими взрывов страстей, приливов любви и отчаяния хотя бы одной-единственной, отдельно взятой семьи…»
Такая обстановка Казакова не могла не притягивать. Да и город, что бы он ни говорил про «более глухие восторги», по-прежнему брал его за душу. «Погода наконец более или менее установилась, – писал он Т. Жирмунской 26 июля, – я наконец испытал вчера нечто похожее на прошлогоднее – это было возле Спаса-на-Крови, знаешь, на канале Грибоедова, в том месте, где много мостов – три или четыре – и видна сразу Марсова площадь (поле), Летний сад вдали, Михайловский замок, и тут эта церковь, тут же сливаются Мойка с каналом, и вот долго я крутился на этом месте, не уходил, снаружи на стене церкви – (на крови) выложен мозаикой Христос распятый, весь в свежей зелени, и какие-то женщины приходят, целуют стену, целуют ступени, двери, молятся, и голуби воркуют, купаются в лужах, тихий такой уголок, я молча постоял, глядя туда-сюда. А вечером катался на водяном такси за червонец до Кировских о<строво>в и обратно. Вечер был и мгла небольшая, плотная к горизонту, красная с мутью, и на этом красном на Неве, когда вышли, – Петропавловка, и солнце просвечивало слабым шаром, вода была синей от неба с красноватой примесью, с бликами заката, открылись набережные. И когда ехали назад, солнце уже село, и по морским обычаям шофер снял флаг с кормы и зажег сигнальные огни – зеленый и красный (флаг на восходе поднимают, на заходе спускают). А потом я шлялся по Грибоедову каналу, но с другой стороны Невского, там, где мостик со львами с золочеными крыльями, и потом возле Казанского собора и вокруг и сзади Александринского театра…»
Назавтра он уезжал из Питера на Север: «В Кижи, в Повенец, в Петрозаводск и Бог знает куда еще занесет меня нелегкая…» Ехал в одиночестве «тосковать, молиться, радоваться и Бог знает что еще перечувствовать», и думая «об одном, все об одном – не пропало б это для меня, не исчезло бы, не застыла бы кровь, а то зачем все, зачем я еду? Написать бы чего-нибудь…»
В Ленинграде Казаков общался с друзьями и мельком виделся в Доме кино на просмотре какого-то американского фильма с Верой Федоровной Пановой, с которой у него с 1957 года установились доверительные отношения.
В январе 1958 года он писал ей: «Сейчас у меня экзамены, время ужасное, все время готовлюсь, только свалю одно, как накидывается и душит другое. В общем, состояние обычное для студента. А страшно хочется писать. Не знаю, но кажется, писать теперь я стану как-то иначе: лучше, строже и серьезней. У меня был большой перерыв, ничего я не делал, а только скорбел, изъязвлял свою душу, ругался с врагами и т. д. Думаю, перерыв этот должен пойти мне на пользу, и тогда хоть немного оправдаю я все те хорошие слова, которые сказали Вы на мой счет…»
В феврале 1958 года он снова писал В. Пановой: «Будьте здоровы, Вера Федоровна, дай Вам бог легкости в работе. Только напрасно Вы себя причисляете к старикам и сдаете позиции нам, молодым… Эти мысли, вероятно, навеяны были смертью Шварца, которого я, кстати, очень люблю, люблю с детства. И совестно Вам прибедняться перед нами, странно даже было читать, честное слово! И Буниным Вы меня напрасно укорили. Что ж Бунин? Бунин олимпиец, бог – таких, как он, у нас на Руси было 3–4, не больше. Но если я обожествляю Бунина, то это вовсе не значит, что я слеп и глух к остальному. Я многих люблю, я и Вас люблю, Вера Федоровна, и над Вашим „Сережей“ я слезу пустил и загрустил и решил бросить писать, что со мной всегда бывает, когда прочту что-нибудь великолепное. Вот так!..»