По возвращении в Петербург Долгоруков, воодушевленный благосклонностью государя, вновь оказался в ближайшем его окружении. Суждения о нем были противоречивы. С одной стороны, он занимал радикальную, антинаполеоновскую, антифранцузскую позицию, в чем находил общий язык со многими людьми из придворного и военного мира (в том числе и с Багратионом), но с другой — был весьма радикален и жесток в своих взглядах, что вообще не было свойственно императору Александру и ставило под сомнение степень его влияния на государя в будущем. Многие даже опасались, что он станет править деспотически, пользуясь особым расположением государя5. Но Долгоруков не дожил до Тильзита. Осенью 1806 года он был послан Александром в Дунайскую армию Михельсона с поручением, но с началом войны с Францией был отозван в Петербург, куда примчался за шесть дней, уже больным. Он умер 12 декабря 1806 года на 29-м году жизни. Историки полагают, что командировка Долгорукова была началом его опалы, удаления от государя.
В начале 1806 года Долгоруков часто бывал в доме Гагариной у своего приятеля князя Петра Ивановича. Там собирались и многие другие люди из высшего света — князь Багратион был радушным и щедрым хозяином, да и посмотреть на отечественного Леонида — героя Шёнграбена и Аустерлица, и послушать его было любопытно. Среди гостей в доме Багратиона часто бывал еще один участник битвы под Аустерлицем, князь Борис Четвертинский, давний знакомый Багратиона. Гостьей салона Багратиона была и сестра Четвертинского, М. А. Нарышкина.
Из донесений за февраль 1806 года баварского поверенного в делах Ольри, большого любителя придворных сплетен (впрочем, их коллекционирование входило в обязанности дипломатов), видно, что салон Багратиона становился местом сбора, неким центром «партии Нарышкиной» — фаворитки Александра I. Он пишет, что после некоторого периода охлаждения Нарышкина опять завладела вниманием императора, и молодые министры «начали ухаживать за нею, стараясь сделать из нее новую точку опоры для себя. Орудием для прикрытия этой интриги является теперь князь Четвертинский, брат фаворитки…». Интрига состояла в том, чтобы сохранять влияние фаворитки, ее круга и вообще «молодых друзей» на императора. Между тем, под влиянием различных обстоятельств, изменений во взглядах самого государя, положение ближайших сподвижников начала александровского царствования стало меняться не в их пользу. Началась борьба за сохранение этого влияния, и Багратион оказался в центре круга, состоявшего из людей более молодых, чем он сам. Это тоже кажется примечательным. У Багратиона не сложились отношения со многими ровесниками и сослуживцами в генеральских чинах. Недоброжелательство, зависть, ревнивое отношение к успехам по службе и в бою царили в русской армии, как и в любой другой. Из самых разнообразных источников видно, что после Аустерлица между Кутузовым и Багратионом пробежала черная кошка. У Багратиона были неважные личные отношения со ставшим военным министром Барклаем де Толли, с претендовавшим, как и он сам, на роль «первого ученика Суворова» Милорадовичем, а также с Тучковым 1-м и некоторыми другими генералами. Позднее, на Бородинском поле, возник момент, описанный дежурным генералом С. И. Маевским, когда командовавший 3-м пехотным корпусом генерал-лейтенант Н. А. Тучков отказывался помогать изнемогавшему под натиском французов Багратиону. Маевский писал: «Две посылки к Тучкову за сикурсом остались без исполнения по личностям (то есть по личной неприязни. — Е. А.) Тучкова к Багратиону и наоборот». Возможно, Маевский ошибается — Тучков сам в это время подвергся яростной атаке французов и выделить помощь 2-й армии не мог. Но мотив «личности» тоже мог иметь место. Маевский пишет, что только с третьей попытки Тучков отправил в расположение 2-й армии 3-ю пехотную дивизию П. П. Коновницына6.
Естественно, что Багратион нуждался в обществе, к тому же он был общепризнанным героем. Поэтому неслучайно к нему стала слетаться петербургская военная и придворная молодежь — а это зачастую было одно и то же.