Некрасов безоглядно влюбился в Панаеву, мучительно (с 1842 целых 4–6 лет) добивался ее внимания. Вероятно, в 1846–1848 гг. 26-летняя Авдотья сошлась с 25-летним Некрасовым, она стала его гражданской женой и прожила с ним под одной крышей более 15 лет (в 1863 г. они окончательно расстались). В одной квартире жили Н.А. Некрасов, И.И. Панаев, А.Я. Панаева; все знали, кто ее официальный, а кто – реальный муж. Некрасов любил ее страстно, но был жутким ревнивцем, словесно унижал и обижал ее, устраивал на почве ревности страшные скандалы и беспочвенные обвинительные сцены, а сам чуть ли не у нее на глазах заводил мимолетные связи; она многие годы все это терпела. Буквально через несколько лет после сближения, в 1853 г. (ему 32 года), он ей изменил и заразился нехорошей болезнью. Она не бросила его в годы болезни, спасала его от мыслей о самоубийстве, продолжала (несмотря ни на что) любить тяжелобольного человека (венерическая болезнь, туберкулез, расстройство нервной системы и др.). Он несколько раз пытался расстаться с ней, но не мог все-таки ее покинуть; любил, ревновал, страдал от своей несдержанности, просил прощения, каялся, помнил и о ее хозяйственных и деловых достоинствах (читала авторские рукописи и говорила свое отношение к ним, сверяла корректуры, «обрабатывала» нужных людей, ведь вышла из актерской семьи и умела играть любую роль), была надежной домоправительницей. Некрасов без нее жить не мог, в большой мере благодаря именно ей создал страстную любовную лирику, и все-таки сполна и по достоинству он ее не оценил. Когда умер в 1862 г. от разрыва сердца И.И. Панаев (результат литературных дрязг, деловых неприятностей, осознания его двусмысленного семейного положения и его вины в этом), А.Я. Панаевой было 42 года, Н.А. Некрасову – 41 год. К этому времени она перенесла смерти новорожденной дочери от И.И. Панаева и новорожденного сына от Н.А. Некрасова, болезненно мечтала о нормальной семейной жизни и детях. Но Н.А. Некрасов не узаконил свои отношения с А.Я. Панаевой, не женился на ней, более того – отдалился и предпочел любить и ревновать ее издали. А ей была больше всего на свете нужна семья, тем более что Некрасов, по сути, отказался от нее, фактически покинул и оставил на произвол судьбы одинокую вдову, верно исполнявшую роль его гражданской жены целых 15 лет. Вот тогда, на 5-м десятке лет, она сделала решительный шаг: сама ушла от него окончательно, вышла замуж за секретаря издательской редакции публициста А.Ф. Головачева, человека веселого, безалаберного, транжира, склонного к семейным изменам, но он стал отцом ее долгожданной дочери. Некрасов чуть с ума не сошел от обиды и ревности, но он купил у нее панаевскую долю в журнале «Современник», стал выплачивать ей маленькую пенсию, выдал ей векселями заметные деньги. Панаева посвятила себя полностью воспитанию дочери, которой она по возрасту больше годилась в бабушки. При состоятельных мужьях она научилась тратить деньги, а зарабатывать или даже сохранять их она не умела. Третий муж вскоре сбежал, и вся ее жизнь сосредоточилась на воспитании дочери. А.Ф. Головачев вскоре умер, она осталась с малолетней дочерью почти без средств для жизни. Тогда она снова стала писать повести и романсы, которые выходили в журналах, а в последние годы жизни она по совету А.Н. Пыпина написала свои любопытные воспоминания, которые и сейчас читаются с увлечением, вызывают восхищение ее верностью памяти Н.А. Некрасова, стремлением вызвать у читателя уважение его таланта, творчества, в них можно найти попытку разъяснить людям обстоятельства их жизни в их время. А.Я. Панаева пережила трех своих мужей. Н.А. Некрасов и А.Ф. Головачев умерли в один год, она пережила их на 16 лет, смогла выжить, оставшись почти без средств. Последние годы жизни она болела, страдала от нужды и отсутствия помощи и внимания к ней, умерла на 74-м году жизни. А.Я. Панаеву похоронили на Волковом кладбище в Петербурге, рядом с могилой ее последнего мужа А.Ф. Головачева. Памятником А.Я. Панаевой являются многочисленные посвященные ей стихи А.А. Фета, многочисленная и яркая любовная лирика Н.А. Некрасова, вдохновленная чувствами к ней.
