Можно предположить, что Чернышевский, узнав Панаева поближе и почти избавясь от предубеждения против него, вел с ним откровенные беседы. Рассуждения Кирсанова в «Что делать?» вполне могли быть высказаны Панаевым в рассказах о крушении его брака: «Всякий человек эгоист, я тоже, теперь спрашивается: что для меня выгоднее, удалиться или оставаться? …Если я раз поступлю против всей своей человеческой натуры, я навсегда утрачу возможность спокойствия, возможность довольства собою, отравлю всю свою жизнь…» Но разве возможно искать выгоду в сердечном деле? Разве сердцу прикажешь? С другой стороны, разве сердце в самом себе всегда твердо? И потом: где гарантия, что любящий сегодня будет любить столь же и завтра, в крайности – послезавтра? Но в целом, как показывают письма Чернышевского, он ценил Панаева невысоко.
Панаев был искренен – он не таился со своими страстишками по темным углам, а вполне открыто проповедовал жизненное кредо – гедонизм, эстетизм, удовольствия. Он не мог переносить в доме неопрятно одетой прислуги. Даже в одежде он стремился к идеалу: моде, красоте и удобству. Его платье всегда отличалось щегольством и изяществом. Недаром злоязычный критик Щербина в эпиграмме назвал его «кучей смрадного навоза под голландским полотном». Эпиграмма появилась в связи с тем, что ему передали, будто Панаев посмеялся над его манишками и пестрыми жилетами. Но когда Щербина бедствовал, он обратился с просьбой отрекомендовать его на вакантное место к Панаеву. Тот сейчас же исполнил просьбу, дал самую лучшую рекомендацию и даже прибавил, что Щербина его очень хороший приятель.
Большое заблуждение считать Ивана Панаева эпизодическим персонажем литературных баталий тех лет и незначительной фигурой литературно-светской жизни. Плодовитый беллетрист, неоднократно переиздававшийся, автор воспоминаний, которые признаются достаточно достоверным и богатым источником сведений, он сыграл заметную роль в отечественной словесности, особенно в журналистике, став одним из самых успешных русских очеркистов.
В повестях Панаева второй половины 1830-х годов воспроизводится сюжетная схема, типичная для светской повести и романических повестей о художнике (конфликт талантливого, но бедного и несветского человека с обществом). Однако уже в этих ранних произведениях проявляются некоторые отличительные особенности повествовательной манеры Панаева, позволившие современникам называть его талант «дагеротипическим». Если каноны романтического изображения человека предполагали, что главное – лицо, глаза, то Панаев необычно большое внимание уделяет внешнему, социально значимому – например, одежде, которая описывается вплоть до мелочей, что позволяет, между прочим, наглядно показывать социальные различия между героями. Не соответствует романтическим представлениям в ранней прозе Панаева и то, что жизнь героев часто описывается начиная с самого детства, говорится об их воспитании и образовании: тем самым признается существенное влияние среды на личность.
Белинский, вовсе не склонный отписывать комплименты, одобрительно отозвался в печати о трех произведениях Панаева: повестях «Она будет счастлива» и «Кошелек» и рассказе «Сумерки у камина».
Одним из первых в отечественной литературе Иван Иванович Панаев поставил проблему женской эмансипации: роман «Львы в провинции» (1852); цикл очерков-повестей «Опыт о хлыщах» (1854–1857), в том числе «Хлыщ высшей школы» (1856) и др. Он становился афористичным. Это с его легкой руки, пошло в народ словцо-определение «хлыщ», ставшее приговором целому новому классу. Он ввел в обиход такие перлы, как «моншеры», «литературная тля», «литературный заяц», «приживалка».
После того как Авдотья сошлась с Некрасовым, отношения незаконной четы с Панаевым долго и мучительно выстраивались и наконец переросли во вполне дружеские. Женщине было очень непросто в такой обстановке и особенно с таким избранником, человеком с тяжелым, изломанным характером. Их союз никто не назвал бы безоблачным. Некрасов часто бывал недоволен любовницей, ревновал к законному мужу, наконец, в какие-то минуты она его просто раздражала. Помощник Дружинина, поэт, переводчик и историк П.И. Вейнберг отмечал: «Я бы, пожалуй, и не назвал его (Некрасова) суровым, в сущности он таким и не был, а только к людям, которым он не симпатизировал, он относился очень тяжело. У него был какой-то особенный взгляд, который я еще при его жизни сравнивал со взглядом гремучей змеи. Он умел этим взглядом «убивать» не симпатичных ему лиц, не говоря при этом им ни неприятностей, ни дерзостей…» А уж с Авдотьей он на дерзости да оскорбления не скупился.
Не раз она плакала на груди законного мужа, который поневоле являлся свидетелем страданий женщины, которую он много лет назад выбрал в спутницы жизни, супругом которой он официально считался, которая носила его фамилию.