Ростопчин был тогда отнюдь не «старцем», о каких пишет Карамзин, но полным сил и энергии сорокалетним мужчиной и принимал самое деятельное участие в светской жизни Москвы. Он принадлежал к самому высшему аристократическому кругу, к кругу тех лиц, о которых читаем на страницах «Горя от ума» и «Войны и мира». «Я часто видела его у Архаровых, — вспоминает Е. П. Янькова, — где он проводил целые вечера. Он был довольно высок ростом, мужественен, но лицом очень некрасив… Но как по лицу он был некрасив, так по всей наружности было что-то очень важное, приветливое и отменно благородное». Кроме того, он был остроумен и находчив. «Разговор его был всегда оригинален и занимателен, — пишет о нем М. А. Дмитриев. — Это был один из тех умных людей, которые умеют сказать что-нибудь интересное даже и о погоде».
Притом «он, — пишет о Ростопчине П. А. Вяземский, — был коренной русский
Карьера Ростопчина с юности складывалась удачно. Сын средней руки помещика из незнатного, но старого дворянства (его предок — крымский хан — выехал в Москву при великом князе Василии Ивановиче в начале XV века), он родился в Москве, рос в деревне, его воспитателями и учителями были гувернеры-иностранцы, местный священник отец Петр и нянюшка Герасимовна, почему он знал иностранные языки и великолепно свой родной, русский. Для завершения образования отец отправил его в путешествие по Германии, Голландии, Англии.
Ростопчин с детства был записан в Преображенский полк и по возвращении из-за границы явился на службу. Героем и образцом для него был А. В. Суворов. Ростопчин добился назначения в действующую армию (тогда шла Русско-турецкая война). Два года служил под командой великого полководца, добровольцем участвовал в штурме Очакова. Впоследствии, до кончины Суворова, между ними сохранялись теплые и доверительные отношения.
По окончании войны Ростопчин продолжил службу в Петербурге. Как гвардейский офицер он имел доступ ко двору. Среди товарищей и при дворе он пользовался славой образованного и остроумного человека. Екатерина II сказала о нем: «У этого молодого человека большой лоб, большие глаза и большой ум». Назначенный в число дежурных офицеров при дворе наследника Павла Петровича, Ростопчин, в отличие от своих товарищей, знавших отрицательное отношение императрицы к сыну и поэтому манкировавших службой, исполнял свои обязанности, руководствуясь не придворными интригами, а как того требует устав. В царствование Павла I он сделал быструю карьеру. Но никогда Ростопчин не ставил выше всего собственное благополучие и выгоду. Рискуя положением, он решался возражать императору, когда считал, что его распоряжения неправильны. Однажды Павел, недовольный английским правительством, вызвал Ростопчина (он был тогда кабинет-министром) и приказал ему немедленно изготовить манифест об объявлении Англии войны. Ростопчин стал доказывать несвоевременность этой войны, ее невыгоды и бедствия для России, император не хотел ничего слышать и повелел к завтрашнему дню этот манифест подготовить. На следующий день Павел прочел составленный Ростопчиным манифест, но вместо того, чтобы его подписать, спросил: «А тебе очень не нравится эта бумага?» — «Не умею и выразить, как не нравится». Император разодрал манифест и отдал лоскутки Ростопчину. Так Россия была спасена от войны с Англией. Но Ростопчин все-таки не избежал опалы, в 1801 году он был уволен в отставку.
Александр I, вступив на престол, вернул на службу многих уволенных Павлом I офицеров и гражданских чиновников, но Ростопчин предложения вернуться на службу и ко двору не получил: он не вписывался в окружение нового императора ни по своему характеру, ни по взглядам на проводимую Александром I внешнюю политику, который занял позицию уступок Наполеону и заключения с ним договоров, изолирующих Россию от ее союзников — и прежде всего от Англии. Ростопчин же считал, что эти уступки и договоры не спасут Россию от войны с Наполеоном, поскольку тот не задумываясь нарушит их в удобный для него момент.