Год спустя отец перевел его в другой пансион, при Педагогическом институте, где дисциплина была слабее. Петр сблизился с компанией светской молодежи, ходил в театры и маскарады, участвовал в попойках и разных веселых похождениях. Князю Андрею Ивановичу донесли об этом, и он приказал сыну вернуться в Москву.
Склонный к самоанализу, Петр Вяземский в 1807 году пишет литературный автопортрет:
«У меня маленькие и серые глаза, вздернутый нос (я, право, не знаю хорошенько, какого цвета; так как в этом презренном мире все следует за модой, то я сказал бы, что мой нос слегка розовый). Как бы в вознаграждение за маленький размер этих двух частей моего лица мой рот, щеки и уши очень велики. Что касается до остального тела, то я — ни Эзоп, ни Аполлон Бельведерский!.. У меня чувствительное сердце, и я благодарю за это Всевышнего!.. Потому что, мне кажется, лишь благодаря ему я совершенно счастлив, и лишь одна чувствительность, или по крайней мере она — одно из главных свойств, отличающих нас от зверей… У меня воображение горячее, быстро воспламеняющееся, восторженное, никогда не остающееся спокойным… Я очень люблю изучение некоторых предметов, в особенности поэзии… Я не глуп, — но мой ум часто очень забавен. Иногда я хочу сойти и за философа, но лишь подумаю, что эта философия не увеличит моего счастья, — скорее наоборот, — я посылаю ее к черту».
Получив наследство, Петр Вяземский пустился в разгульную жизнь, кутил, крупно играл. Впоследствии он так объяснял свое поведение: «Мне нужно было в то время кипятить свою кровь на каком бы то ни было огне, и я прокипятил на картах около полумиллиона». Просьбы Карамзина переменить поведение не имели успеха, единственно, что удалось — это уговорить поступить на службу. Карамзин предполагал, что наследство кончится и придется зарабатывать средства на жизнь. Так оно и получилось: время от времени Карамзин должен был выручать Вяземского; кажется, последней такой заботой были хлопоты о покупке его имения (заложенного и перезаложенного) комиссией по строительству храма Христа Спасителя. В 1824 году Карамзин писал члену комиссии С. С. Кушникову: «Эта продажа может спасти его от совершенного разорения. Теперь трудно найти покупщика на такое значительное имение между людьми частными; а если он не найдет, то у него скоро опишут все имение за неплатеж в Воспитательный дом. Бедственное состояние этого умного, доброго, но беспечного брата нашего считаю нещастием моих преклонных лет».
Вяземский был зачислен в Московскую межевую канцелярию. Фактически он только числился на службе, продолжая прежнюю жизнь, однако по прошествии полугода из юнкеров был произведен в чин титулярного советника. В 1810 году Карамзин выхлопотал ему через И. И. Дмитриева придворное звание камер-юнкера. Таким образом, князю Петру открывалась возможность служебной карьеры, дальнейшее зависело от него самого.
В начале 1810 года налаженный ритм жизни и работы Карамзина был нарушен. Продали дом Вяземских, чтобы уплатить карточные долги князя Петра. Съезжать пришлось срочно. Карамзин на те полтора-два месяца, которые оставались до начала летнего сезона, поселился в доме своего племянника, сына сестры, С. С. Кушникова, собираясь ранней весной переехать в Остафьево, благо оно осталось непроданным.
Сообщая брату свой новый адрес (дом С. С. Кушникова), он пишет в марте 1810 года: «В наемных домах жить скучно; но малые доходы наши и великая на все дороговизна не позволяют нам купить собственного. Не хочется входить в долги. Цены на все возрастают ежедневно. Не говоря о другом, фунт хорошей говядины стоит теперь 24 коп. Вина также вдвое дороже, хотя их и много. Впрочем, надобно только желать, чтобы не было хуже настоящего. По крайней мере, живем спокойно». В эти годы Карамзин все чаще пишет брату об этом: «Дороговизна у нас и везде возрастает, и мы, не имущие деревень на пашне, ни фабрик, ни заводов, час от часу становимся беднее».
Положение человека, вынужденного жить собственным трудом, выработало у Карамзина особую философию отношения к материальной обеспеченности.