В 1817 году Чаадаев был назначен адъютантом командира гвардейского корпуса генерал-адъютанта князя Иллариона Михайловича Васильчикова. В октябре 1820 года взбунтовался 1-й батальон лейб-гвардии Семёновского полка, где Чаадаев служил ранее. В связи с этими событиями к государю, находившемуся в Троппау, был послан Чаадаев, которого Васильчиков, командир гвардейского корпуса, выбрал для подробного доклада царю. Они беседовали с глазу на глаз больше часа. Об этой беседе Чаадаев писал своей тетушке: «Я счёл более забавным пренебречь этою милостию, нежели добиваться её. Мне было приятно выказать пренебрежение людям, пренебрегающим всеми… Мне ещё приятнее в этом случае видеть злобу высокомерного глупца». Через полтора месяца после этой поездки, в конце декабря, Чаадаев подал в отставку и приказом от 21 февраля 1821 года был уволен от службы. Как указывают, гвардии ротмистр подал в отставку, не считая нравственно возможным продолжать службу после наказания близких друзей из восставшего полка. Эта отставка молодого человека, которому прочили самую успешную карьеру, была неожиданной и потрясла общество.
Друг Чаадаева Грибоедов запечатлел его как Чацкого в своей комедии «Горе от ума». После отставки Чаадаев впал в глубокий духовный кризис. Он продал большую часть своей библиотеки (рационалистическую и деистическую литературу) и начал собирать новую библиотеку из религиозных и историко-философских сочинений.
В 1823 году Чаадаев отправился путешествовать по Англии, Франции, Швейцарии, Италии и Германии. Он познакомился с философом Фридрихом Шеллингом и стал первым шелленгианцем в России.
В 1826 году Чаадаев вернулся в Россию и, поселившись в Москве, несколько лет жил отшельником. Затем стал появляться в светских салонах, участвовать в беседах на разные темы. Петр Яковлевич начал распространять в обществе свои письма. Они широко обсуждались.
Чаадаев полагал, что России нужно перестать идти своим путем и признать, что никакого своего пути нет. Есть путь восточный, под которым Чаадаев понимал ислам, есть путь варварский – все народы, которые вели тогда кочевой образ жизни, и есть путь западный – единственный магистральный.
В 1829–1831 годах он создает своё главное произведение – «Философические письма». Публикация первого из восьми писем в журнале «Телескоп» в 1836 году вызвала резкое недовольство властей. Журнал был закрыт, издатель Николай Надеждин сослан, а Чаадаев объявлен сумасшедшим. Неудовольствие Николая I вызвало то, что главной особенностью исторической судьбы России Чаадаев считал «тусклое и мрачное существование, лишенное силы и энергии, которое ничто не оживляло, кроме злодеяний, ничто не смягчало, кроме рабства. Ни пленительных воспоминаний, ни грациозных образов в памяти народа, ни мощных поучений в его предании… Мы живем одним настоящим, в самых тесных его пределах, без прошедшего и будущего, среди мертвого застоя». Теперь философ был обречен на отшельничество в своем доме на Басманной улице, где его посещал врач, ежемесячно докладывавший о его состоянии царю.
В ответ на обвинения в сумасшествии Чаадаевым была написана статья «Апология сумасшедшего» (1836–1837), задуманная как своеобразное оправдание перед правительством и обществом: «Я не научился любить свою родину с закрытыми глазами, с преклоненной головой, с запертыми устами. Я нахожу, что человек может быть полезен своей стране только в том случае, если ясно видит ее; я думаю, что время слепых влюбленностей прошло, что теперь мы прежде всего обязаны родине истиной… У меня есть глубокое убеждение, что мы призваны решить большую часть проблем социального порядка, завершить большую часть идей, возникших в старых обществах, ответить на важнейшие вопросы, какие занимают человечество». Чаадаев считал, что Россия призвана быть «совестным судом человеческого духа и общества».
Всем житейским утехам – вину, женщинам, картам – Чаадаев предпочитал мыслительную активность.
Чаадаев считал, что «обиходная», эмпирически-описательная история не даёт ответов на вопросы, которые ставит общество, а лишь перечисляет беспрестанно накапливающиеся события и факты, бесконечно повторяющиеся в «жалкой комедии мира». Подлинно философски осмысленная история должна «признать в ходе вещей план, намерение и разум», постигнуть человека как нравственное существо, изначально связанное многими нитями с «абсолютным разумом», «верховной идеей», «Богом», «а отнюдь не существо обособленное и личное, ограниченное в данном моменте, то есть насекомое-поденка, в один и тот же день появляющееся на свет и умирающее, связанное с совокупностью всего одним только законом рождения и тления. Да, надо обнаружить то, чем действительно жив человеческий род: надо показать всем таинственную действительность, которая в глубине духовной природы и которая пока ещё усматривается при некотором особом озарении».
Чаадаев умер в Москве 14 (26) апреля 1856 года от воспаления легких и был похоронен, по его желанию, в некрополе Донского монастыря.