После смерти Екатерины Зубов считал себя погибшим. Еще до его возвышения ему случилось раз почтительно посторониться перед собакой Его Императорского Высочества, наследника престола. Но потом, сделавшись крайне дерзким, он ни с кем не стеснялся. Впоследствии он намекал, что поступал так по приказанию императрицы: она желала, чтоб он так обращался с людьми, и выходки его обезьяны одобрялись государыней. Может быть он и не лгал, может быть Екатерина была права, заставляя таким образом рабскую толпу своих подданных уважать ее фантазии. Не знал ли или не догадывался ли Павел об этом? Странное со всеми другими, его поведение с фаворитом вызывает сомнение!
Екатерина умерла 6 (17) ноября 1796 года. Скрывшись у своей сестры Жеребцовой, Зубов не выходил в продолжение десяти дней, представляясь больным и ожидая от нового Государя решение своей судьбы. Подошел день 28 ноября, который праздновался некогда с таким великолепием. Неожиданно в пустынные покои вчерашнего победоносца явился посланец двора: император давал знать экс-фавориту, что он велел приготовить ему дом на Морской и собирается завтра напиться у него там чаю. Зубов нашел на Морской улице комфортабельный дом с полным убранством, с посудой, экипажами и лошадьми. На другой день явился Павел с женой. Бывший фаворит бросился к его ногам; Павел поднял его со словами русской пословицы:
Зубов был поражен и в восторге. Но не долго пришлось ему радоваться: 27 января он был отрешен от всех должностей, его имения секвестрованы, и он получил позволение, иначе говоря приказание, отправиться путешествовать. Некоторое время провел он в Германии; в Теплице влюбился на минуту в прелестную эмигрантку, графиню де ла Рош-Эмон; потом, встретив двух курляндских принцесс, самых богатых наследниц Европы, начал ухаживать за одной из них. Лишенный княжества и оскорбленный ранее фаворитом, отец с негодованием отказал ему. Зубов имел намерение увезти девушку, но приказание Павла вернуться в Россию расстроило этот план. За время отсутствия друзья заступились за него: Пален, несмотря на все благодеяния Павла, замышлявший гибель императора, нуждался в сообществе человека, готового, как ему казалось, принять участие в авантюре и в преступлении. И действительно, 12 марта 1801 года Зубов находился в числе убийц несчастного Павла. Ожидаемой награды за это он не получил: Александр I холодно обошелся с ним. Он снова отправился в Германию. В следующем году, в Теплине же, он имел неприятную историю с шевалье де Сакс (сыном принца Ксавье графа де Люзас, дяди Людовика XVI). Спасшийся в России во времена революции, шевалье в 1794 году поссорился с князем Николаем Щербатовым. Дуэль не состоялась по вине князя; но была устроена западня, при участии Зубова: из этой свалки шевалье вышел живым, но изуродованным. Оставив поневоле Россию, он по газетам вызывал своих противников; но только случайная встреча на водах могла заставить Зубова ответит на вызов. Бывший фаворит сыграл при этом плачевную роль. Взяв предлогом свое неумение владеть пистолетом, оружием, выбранным секундантами обеих сторон, он отказался стать на свое место. Когда противник предложил драться на саблях, с Зубовым сделалось дурно. Щербатов заменил его и убил на месте бедного шевалье.