Его ненавидели и завидовали ему, и чем больше завидовали, тем сильнее ненавидели. Сперанский никогда не домогался титулов, прожив всю жизнь «простым гражданином». В графское достоинство он был возведен 1 января 1839 года, all февраля того же года он скончался, пробыв графом всего сорок один день. Сперанский был щепетильно честен, не оказывал покровительства «родным человечкам», не вовлекался в придворные интриги. Однако даже его достоинства вызывали неприятие и отторжение. Сперанский, по словам Голицына, внушал окружающим едва ли не суеверный ужас. Возможно, это было связано с тем, что он никогда не выражал никаких чувств и всегда как бы носил на лице маску бесстрастной ледяной вежливости. Всегда неизменно корректный, с безукоризненными манерами, он ни к кому не выказывал ни симпатии, ни неприязни. Говорил всегда тихо, округлыми, правильными периодами, по временам впадая в назидательный тон.
Будучи от природы человеком холодным и строгим, он совершенно замкнулся в себе после пережитой им личной трагедии: его молодая, горячо любимая жена умерла через год их совместной жизни от «родильной горячки», как тогда говорили. Сперанский был безутешен, всерьез думал о самоубийстве. Его удалось отговорить только напоминанием о том, что новорожденная дочь окажется в этом случае круглой сиротой. Сперанский никогда после этого не знал женщин, чуждался их общества «и до гроба ни с одною молвить слова не хотел». Он вел жизнь затворника, не зная сильных страстей, не ведая обыкновенных земных радостей. Все это еще больше способствовало его самоизоляции в выморочном мире рассуждений, логических построений, книжных выкладок и умозрительных схем. Его нельзя было ни купить, ни запугать, ни очаровать, ни прельстить. Светской публике он казался некоей механической куклой. Сейчас его бы назвали роботом. Вряд ли такой человек мог быть популярен…
Что же касается его проектов, то в них усматривали чуть ли не революционную опасность. На кабинет Сперанского, по словам Ф.Ф. Вигеля, «смотрели все, как на ящик Пандоры, наполненный бедствиями, готовыми излететь и покрыть собою все наше Отечество». Тот же Вигель писал позднее в мемуарах, что когда он разговаривал со Сперанским, то «…явственно чувствовал запах серы и видел в голубых глазах Сперанского синий огнь адский». Каково?! Граф Ф.В. Ростопчин вспоминал, что имя Сперанского дворяне ставили «рядом с именем Мазепы» и строчили на него доносы царю как на изменника. Ростопчин был одним из самых омерзительных персонажей эпохи. «Паркетный шаркун», придворный лизоблюд и «всеобщий предатель», он писал доносы едва ли не на всех своих знакомых, так что хорошо знал, о чем говорил. Однако скрытыми недоброжелателями и открытыми врагами Сперанского выступали отнюдь не только столь одиозные персонажи. Его заклятыми недругами были и весьма достойные люди, в том числе многие вольные каменщики.
Причиной этому была неуемная страсть Сперанского к «всеобъемлющему порядку», его желание все поставить под государственный надзор и при этом лично все контролировать. Характерный эпизод — история с ложей «Полярная звезда». Ложу эту основал в Петербурге немецкий богослов Игнатий Аврелий (Игнац Аурелиус) Фесслер. Это был человек удивительной, феерической биографии. Он окончил иезуитский коллегиум, стал монахом ордена капуцинов (ученая элита католического монашества), преподавал в университете Лемберга (Львова), где получил степень доктора богословия. Написал несколько книг по грамматике восточных языков, в том числе учебник для изучения библейского иврита. Переехал в Германию, где перешел из католичества в лютеранство и стал пастором. Вступил в масоны, написал несколько книг по истории масонства, основал «Общество друзей человечества» (!) и «Общество научных масонов».
Фесслер удивительным образом сочетал в себе черты кабинетного ученого, пламенного проповедника и неутомимого борца «за чистоту рядов». Он постоянно вскрывал какие-то злоупотребления, обличал нерадение, указывал на упущения и т. д. Любимым объектом его критики было невежество священников, сначала католических, а потом протестантских. В 1809 году он был назначен профессором кафедры восточных языков и философии в Санкт-Петербургской духовной Александро-Невской академии.