Как и поэт Чудаков, художник Зверев любил знакомиться с женщинами на улице. Обычный для нормальных людей вопрос: «Девушка, а девушка, а как вас зовут?» — для Зверева был лишним — он сразу обнимал за талию понравившуюся ему красавицу, мог ущипнуть и даже погладить: «Детуля, хочешь я тебя напишу? У тебя лицо строительницы коммунизьма». Последнее слово он произносил подчеркнуто с мягким знаком, как Хрущев. Но особым обаянием Зверев не отличался, скорее отпугивал прекрасный пол, взывавший в таких случаях к помощи прохожих. Находчивый приставальщик, дабы не быть обвиненным в домогательствах, обычно оправдывался: «Товарищи, эта женщина уже месяц меня преследует, а что я могу поделать — у меня импотенция!» Но все же была в его жизни как минимум одна женщина, полюбившая художника за муки творчества…
Как у Модильяни Жанна Этюбери, так у Зверева была Ксения (Оксана) Асеева, вдова сталинского лауреата Николая Асеева. Скончавшийся в 1963 году муж оставил ей большую квартиру в проезде Художественного театра и дачу в Переделкине. Дом Асеева располагался очень удобно — аккурат напротив бывшей гостиницы Шевалье, где имели мастерские многие художники, приятели Зверева, у которых он ночевал. Так он и курсировал: то туда, то обратно, к любимой вдове.
Роман Зверева с вдовой большого советского поэта, естественно, не мог развиваться по принятым канонам, тем более что престарелая Джульетта была лет на сорок старше поддающего Ромео, то есть годилась ему в бабушки. В общем, Зверев и здесь остался Зверевым. Ухаживал он красиво, заваливая старушку цветами и посылая ей письма по десять раз на дню. Он покупал пачку конвертов и начинал писать письма, отличавшиеся не только содержанием, но и формой. То это была пара слов, то стихотворные экспромты, сочиненные так же быстро, как и его акварели, например: «Снег выпал, и я выпил» или еще лучше: «Кот по саду — хлоп по заду». Интересно, что Зверев пытался очаровать Асееву именно стихами, рассчитывая, видимо, на ее редкое поэтическое чутье — ведь она столько лет прожила с поэтом! Написав полсотню-другую писем, он принимался за их отправление — недолго искал по окрестностям почтовые ящики, благо что в те времена они висели на каждом углу. Распихав по ящикам письма, он успокаивался и принимался за новые. Странно, что после смерти Асеевой в 1984 году у нее нашли лишь два мешка зверевских писем, их должно было быть значительно больше. А еще Зверев покупал Асеевой кефир (в бутылке с зеленой крышечкой), приносил, ставил его у дверей квартиры, нажимал на кнопку звонка и убегал. Романтика!
Сама Асеева была как бы чудом сохранившимся осколком футуризма 1920-х годов, знала очень многих больших художников своей эпохи, отличаясь высокой культурой. «Толя, любить вас я не могу, а быть рядом — могу», — говорила Звереву «старуха» — так он ее звал. Она много натерпелась от него, ведь он избивал ее в порыве бешеной ревности. «Она пришла ко мне с Толей, — вспоминает Немухин, — и сразу показалась мне очень милой, жизнерадостной и непосредственной. Помню, что был декабрь. На ней была рыжеватенькая дубленка, а под глазом — огромный синяк! Она начала мне тут же жаловаться, что он ее ударил, а он — на ее неверность. Оказалось, что он приревновал ее к врачу. Когда тот начал осматривать Оксану Михайловну во время ее болезни, Зверев рассерженно спросил его, показывая на прослушивающий аппарат: “Зачем тебе даны эти штуки резиновые, а руками лапать не смей!”». Зверев ревновал возлюбленную и к ее покойному супругу-лауреату, возмущаясь мемориальной доской, установленной на доме. В общем, хорошо, что Зверев и вовсе не прибил Асееву.
А в Переделкине однажды произошел такой случай. «К ней пришла женщина, которая по долгу службы интересовалась литературным наследием поэта Асеева. Они разговорились, а потом Асеева играла на пианино. Когда женщина ушла, со второго этажа спустился Зверев и в припадке ревности ударил Асееву по щеке. Он кричал: “Почему ты играла дважды?! Ты отняла у меня мое время!”», — свидетельствовал Владислав Шумский. В холодные вечера на даче Зверев, дабы согреть свою Дульсинею, топил печку собраниями сочинений Асеева. Вот когда они пригодились.
До сих пор бытует легенда о несметных богатствах Зверева, хранившихся у Асеевой дома. Дескать, самые лучшие свои работы художник спрятал у нее под кроватью, показывая только избранным. Счастливчики утверждают — эти работы очень высокого музейного уровня. Другой вопрос — куда они подевались? Тем не менее Асеева не только стала любимой моделью художника, создавшего немало чудных акварелей с ее ликом, но и помогала продавать Толе его произведения. В последние годы их романа она старалась не пускать его в квартиру (надоели пьяные дебоши): приоткрыв на цепочке дверь, в которую он ломился, Асеева выдавала возлюбленному по червонцу в день. Некоторое охлаждение их отношений, можно сказать дистанцирование, произошло к радости сестер Асеевой, не безуспешно боровшихся с Толей. В отличие от любимой «старухи» их он называл «чердачными старухами».