Особенно памятен погодинский дом тем, что в нем много раз останавливался и подолгу жил Н.В. Гоголь. В Москву он приехал впервые в 1832 г. и тогда же познакомился с Погодиным, но остановился у него только в сентябре 1839 г. Для Гоголя отводился обычно мезонин. «До обеда он никогда не сходил вниз в общие комнаты, – вспоминал сын М.П. Погодина, – обедал же всегда со всеми нами, причем был большею частию весел и шутлив. После обеда до семи часов вечера он уединялся к себе, и в это время к нему уже никто не ходил; а в семь часов он спускался вниз, широко распахивал двери всей анфилады передних комнат, и начиналось хождение, а походить было где; дом был очень велик. В крайних комнатах, маленькой и больших гостиных, ставились большие графины с холодной водой. Гоголь ходил и через каждые десять минут выпивал по стакану. На отца, сидевшего в это время в своем кабинете за летописями Нестора, это хождение не производило никакого впечатления; он преспокойно сидел и писал. Изредка только, бывало, поднимет голову на Николая Васильевича и спросит: „Ну, что, не находился еще?“ – „Пиши, пиши, – отвечает Гоголь, – бумага по тебе плачет“. И опять тоже; один пишет, а другой ходит. Ходил же Н.В. всегда чрезвычайно быстро и как-то порывисто, резко, производя при этом такой ветер, что стеариновые свечи оплывали. Когда же Н.В. очень уж расходится, то моя бабушка закричит, бывало, горничной: „Груша, а Груша, подай-ка теплый платок, тальянец (так она звала Н.В.) столько ветру напустил, так страсть!“ – „Не сердись, старая, – скажет добродушно Н.В., – графин кончу, и баста“».
Когда в 1841 г. Гоголь привез из Италии первый том «Мертвых душ», то устроил их прочтение Аксаковым и Погодину в его доме и там же продолжал работать над поэмой, писал «Портрет», «Тараса Бульбу».
В большом саду погодинской усадьбы Гоголь дважды устраивал торжественные обеды по случаю своих именин, которые он праздновал на вешнего Николу – 9 мая. В большой аллее расставлялись столы, за которыми садилось множество гостей. «Злоба дня, весь внешний успех пиршества, сосредоточивался на погоде. Дело в том, что обед устраивался в саду, в нашей знаменитой липовой аллее, – вспоминал тот же мемуарист. – Пойди дождь, и все расстроится. Еще дня за два до Николы Николай Васильевич всегда был очень возбужден… Сад был у нас громадный, на 10 000 квадратных сажен, и весной сюда постоянно прилетал соловей… пел он большей частию рано утром или поздно вечером… у меня постоянно водились добрые соловьи. В данном случае я пускался на хитрость: над обоими концами стола, ловко укрыв ветвями, вешал по клетке с соловьем. Под стук тарелок, лязг ножей и громкие разговоры мои птицы оживали… Гости восхищались: „Экая благодать у тебя, Михаил Петрович, умирать не надо. Запах лип, соловьи, вода в виду…“ Обед кончался очень поздно… Общество расходилось часов в одиннадцать вечера, и Н.В. успокаивался, сознавая, что он рассчитался со своими знакомыми на целый год…».
В этом доме находилось погодинское «Древлехранилище» – ценнейшая коллекция предметов русской старины. Он собирал самые разные предметы, которые каким-либо образом относились к русской истории: монеты, рукописи, древние грамоты, старопечатные книги, картины, портреты, оружие, письма Петра Великого, автографы Суворова, Державина, Ломоносова, старинное оружие, народные лубки, монеты… Как собиратель, и собиратель знающий, Погодин вскоре стал известен в Москве: букинисты и торговцы антиквариатом несли на Девичье поле редкие вещи, зная, что все будет по достоинству оценено. Погодинская коллекция славилась не только в России, но и в Европе, откуда приезжали с ней знакомиться. В 1852 г. Погодин вынужден был расстаться со своими сокровищами: приходилось думать о семье, об обеспечении дочерей. Он предложил приобрести коллекцию государству, и она перешла в Императорскую публичную библиотеку за 150 тысяч рублей. В доме на Девичьем поле Погодин прожил до кончины 8 декабря 1875 г.
От погодинской усадьбы осталось лишь затейливо украшенная деревянная постройка, так называемая «погодинская изба», о которой поэтесса Е.П. Ростопчина писала Погодину: «Что ваша новая книга из бревен-то есть, изба… Я слышу, что она заменила Москвитянина и Мстиславов Ростиславичей, и все прежние ваши страсти». (Погодин издавал журнал под названием «Москвитянин» и работал над историей России удельного периода. –
Изба была перестроена из более старой в 1856 г. на средства богача В.А. Кокорева – это был подарок известному русскому историку – архитектором Н.В. Никитиным, известность которого и началась с этой постройки.