В 1780 году, при учреждении Вятской губернии, село Трехсвятское переименовали в город Елабугу, сделав его центром уезда, который состоял из «одного села, тринадцати деревень и одного починка». В новом городе имелось 3 церкви (1 – каменная, 2 – деревянные), 376 частных домов и 966 жителей, «поставленных на тягло» (то есть мужчин, плативших подати и налоги. –
В начале 40-х годов XIX столетия, когда Дурова навсегда поселилась в Елабуге, здесь уже насчитывалось 6 церквей, в том числе великолепный каменный Спасский собор о пяти главах, с высокой колокольней и двухэтажной пристройкой для духовного правления, 703 частных каменных и деревянных дома. Жителей было более 4,5 тысячи человек.
Центр города составляли улицы Набережная и Казанская. Здесь высилось много каменных двухэтажных домов, крытых железными крышами. Жили в них очень богатые горожане: купцы Стахеевы, Шишкины, Ушковы, Гирбасовы. На Московской улице обитали купцы победнее (третьей гильдии), мелкие торговцы, владельцы постоялых дворов и трактиров, чиновники городской управы и магистрата. Именно на Московской улице купила себе дом и «кавалерист-девица» (купчая утрачена, так как весь архив сгорел при пожаре в 1850 году).
Дом сохранился до нашего времени. В 1993 году он был восстановлен по старым чертежам, в нем открыт музей Н. А. Дуровой. Это типичная городская усадьба середины XIX века. Дом имеет довольно высокий цокольный этаж из камня и первый этаж из бревен, крыша у него двускатная, с большим чердаком. Цокольный этаж считался нежилым. В нем располагались кухня и кладовые, но могла жить и прислуга. На первом этаже имелось 5 комнат, стояла русская печь.
Этот уютный особнячок окружал сплошной высокий забор из бревен. Во дворе находились каретный сарай, конюшня, амбар с погребом и ледником, баня и другие хозяйственные постройки. К дому примыкал обширный сад с яблоневыми и вишневыми деревьями и ягодником (малина, смородина, калина). Общая площадь усадьбы достигала половины гектара.
В доме на Московской улице Дурова прожила последние 25 лет. Она ничего не писала. Только летом 1860 года по просьбе редактора «Энциклопедического словаря, составленного русскими учеными и литераторами» М. Л. Михайлова «кавалерист-девица» отослала в Санкт-Петербург «Автобиографию» в несколько страниц. В ней она изложила ту версию, которая потом попала во все справочные издания: отец – гусарский ротмистр, о муже и сыне – ни слова, год рождения 1790, а не 1783, как в действительности, много о встрече с царем и военной службе, ничего о пребывании в Елабуге и своих занятиях здесь.
Однако этот период жизни героини получил достаточно полное освещение в статье ее земляка Н. А. Кутше, опубликованной в журнале «Исторический вестник» в 1894 году.
Кутше рисует образ доброй и кроткой старушки, вполне обеспеченной (пенсия – 1000 руб. в год), поддерживавшей знакомство с городничим Эрличем, отставным майором пехоты, и с городским головой, купцом второй гильдии И. В. Шишкиным, на домашних праздниках у которого она любила бывать. Еще у Дуровой был слуга по имени Степан, на все руки мастер: и дворник, и повар, и камердинер.
До последних дней своей жизни она носила синий уланский офицерский сюртук без эполет, но с Георгиевским крестом в петлице, требовала, чтобы к ней обращались: «ваше благородие господин штабс-ротмистр Александров», сердилась, если от этого правила отступали, и тогда делала довольно резкие замечания. Но при этом вспоминать боевое прошлое не любила, на вопросы о нем отвечала крайне неохотно. Так же равнодушно относилась Надежда Андреевна к своей литературной славе. Рукописей не хранила, книги не перечитывала.
Главным ее развлечением и отрадой в старости стали домашние животные. Она любила собак и держала целую свору: до пяти-семи голов комнатных, дворовых, охотничьих. Каждый день утром и вечером «кавалерист-девица» выходила с ними на прогулку и двигалась по улице, опираясь на трость, шагая твердо, с прежней армейской выправкой. Иногда Дурова заходила к соседям по делам своего незатейливого хозяйства. Она была веселой собеседницей и шутницей, держала себя просто…
В 1863 году в Елабуге открылось фотоателье, и Надежда Андреевна сфотографировалась там. Эта фотография была воспроизведена в журнале «Русская старина» в 1890 году, оригинал ее хранился в полковом музее 5-го уланского Литовского полка и пропал после 1917 года. Это – последний прижизненный и самый достоверный портрет героини, ей здесь 80 лет. Фотография изображает худощавую, небольшого роста старушку, одетую в однобортный сюртук с высоким наглухо застегнутым воротником, волосы у нее подстрижены в кружок, взгляд – острый, насмешливый…