Аскетизм Толстого вызывал ироническое отношение к нему в высшем обществе.
Сам граф, по сообщению мемуариста, с женой «жил как брат». Он был женат на княжне Анне Егоровне Грузинской (1798–1889), предок которой царь Арчил Имеретинский и Грузинский переселился в Россию. Отец графини Толстой, князь Егор Александрович был знаменит тем, что в своем имении принимал беглых и скитальцев… с удостоверением от них в том, что обращавшийся к его помощи простой бродяга, а не вор и убийца. Анна Егоровна — женщина религиозная и мистически настроенная — имела большое влияние на мужа.
Следует сказать, что мистические и религиозные настроения в роду Толстых были сильно развиты. Прославленный авантюрист граф Ф. И. Толстой Американец лечил боль магнетизмом, и вместе с тем, в своей богомольности доходил до ханжества. Его дочь, Сарра, умершая при жизни отца, почиталась как оракул, предсказывая будущее. Были в роду Толстых люди целиком преданные Православной Церкви. Граф М. В. Толстой был известен как духовный писатель, граф Д. А. Толстой, также как и Александр Петрович, был обер-прокурором Священного Синода.
Графиня Анна Егоровна Толстая
Когда А. П. Толстого назначили обер-прокурором, один из современников писал: «Трудно найти человека более преданного Церкви… Он принадлежит к числу тех людей, которых я не умею иначе назвать как оптинскими христианами». Писатель и философ Иван Васильевич Киреевский, тесно связанный с Оптиной пустынью4, говорил об А. П. Толстом: «Легче становится жить после встречи с таким человеком». О важном значении, которое имело общение с Толстым для Гоголя свидетельствует, что в «Выбранных местах из переписки с друзьями» графу адресованы семь писем — более, чем кому-либо. В одном из них Гоголь пишет о монашеских устремлениях Толстого (а возможно, и о своих): «Монастырь Ваш — Россия!». Впрочем, монастырская тема не покидала ни Толстого, ни Гоголя. «Александр Петрович живет так уединенно, и таким монастырем, что и я, любящий тишину, переехал к нему», — сообщает Гоголь в письме от 28 декабря 1848 г., сразу после переезда на Никитский бульвар. Его адресат — священник Матвей Александрович Константиновский из уездного города Ржева Тверской губернии, с которым Гоголя познакомил Толстой. Имя этого человека, имевшего огромное влияние на Гоголя в последний год его жизни, еще не раз встретится в дальнейшем на страницах нашего повествования.
В доме Толстого писатель занимал две комнаты на первом этаже. Сам граф жил на втором. О. М. Бодянский оставил следующее описание квартиры писателя: