Екатерина не любила Дашкову. Ещё тогда, когда Дашкова стала действовать, желая возвести свою подругу (а она считала, что это её самая близкая подруга) на престол, Екатерина и её близкое окружение проявляли к ней большую осторожность: не «подсадная ли это утка»? И действительно, Пётр III — крестный отец Дашковой, его фаворитка Елизавета Романовна Воронцова, ради которой он хочет свою супругу сослать в монастырь, её родная (!) сестра, а сама она 19-летняя, правда, начитанная, но не разбирающаяся ни в людях, ни в политике и много среди людей болтающая глупышка. А выпад Дашковой против фаворита Григория Орлова показал, что она не понимает политики вообще, всё рубит с плеча, не может взять в толк, что Екатерина этому грубому мужлану обязана троном и, пока не утвердилась на троне, должна уповать на него, вернее, на его гвардейские штыки. После переворота Дашкова стала вести себя как хозяйка: делать язвительные замечания в адрес фаворита, показывать императрице своё неудовольствие. А главное — всем рассказывать, что это благодаря её стараниям удалось посадить Екатерину на трон. Всё это на долгое время отдалило Дашкову от императрицы, но ни в коем случае не до конца: Дашкова, повзрослевшая, умная, за рубежом повысившая вместе с детьми свою образованность и зрелость мысли, может пригодиться не в дружеских, а в государственных делах. Так Дашкова опять оказалась в фаворе. И сторицей заплатила за доверие императрицы своими по сути государственными делами, поднявшими престиж России в учёном, в большей степени в мире культурном.
Дашкова всегда была искренней перед государыней и всегда была ей верной; она любила Екатерину, считала её необыкновенной женщиной и была счастлива, когда ей казалось, что и Екатерина любит её.
Смерть императрицы застала Дашкову в её усадьбе Троицкое. Они не виделись с Екатериной около двух лет, поэтому кончина императрицы оказалась для княгини неожиданной. Зная нрав Павла, Екатерина Романовна стала ждать плохих известий, и они не замедлили явиться. Павел в срочном порядке потребовал выселения Дашковой из Троицкого и отправки в ссылку в глухую деревню, принадлежавшую её сыну. Он возненавидел Дашкову за то, что она возвела его мать на престол и была её сподвижницей. Он не понимал, что именно возведение его матери на престол сделало его Наследником Ведь если бы Пётр III сослал Екатерину в монастырь и женился на Елизавете Воронцовой, то наследником бы стал, сын Елизаветы, а не он, Павел. Дашкова с дочерью Анастасией и слугами провела в ссылке в тяжёлых, непривычных для неё условиях около года. При дворе остались её друзья, которые не переставая хлопотали о её возвращении. По их просьбе подключились к этим хлопотам императрица Мария Феодоровна, супруга Павла I, и его фаворитка Нелидова, и им удалось смягчить сердце Павла: он разрешил Дашковой вернуться в Троицкое, но ни в коем случае не находиться поблизости от августейшей семьи.
В 1798 году князь Павел Дашков оказался у императора Павла в фаворе. Павла I привлекало его умение делать стратегические чертежи и планы. Князь Дашков тоже помог снять со своей матери часть уз. Но, как это было в обычае нервного и потому непредсказуемого императора, через год и князь Дашков попал к Павлу в немилость и был уволен со своего поста.
Дашкова жила в своём имении Троицкое, занималась его ремонтом и усовершенствованием, сажала фруктовые деревья и наслаждалась природой. Теперь трудно это себе представить, потому что Троицкое в наши дни — это научный городок, и от прежней жизни княгини Дашковой не осталось и следа.
Как известно, Павел I процарствовал всего лишь 4 года и неполных 5 месяцев и в ночь с 11 на 12 марта 1801 года был задушен в своей спальне заговорщиками. Приход к власти Александра I для Дашковой был ознаменован приглашением царя вернуться ко двору. Дашкова с гордостью пишет о коронации Александра I, когда она в коронационной процессии ехала в одной карете с императрицей Елизаветой Алексеевной как старшая статс-дама Высочайшего двора. Но быть при дворе постоянно Дашкова уже не могла: обстановка двора совершенно изменилась, и не хотелось выглядеть чужой и старомодной, да и возраст, и болезни диктовали другую, спокойную жизнь.
Император Александр, испытывая почтение к её великим заслугам, старался облегчить ей жизнь и так же, как его бабушка Екатерина II, помогал ей материально, например выплатил полностью взятый ею кредит в банке.
Дашкова жила в Троицком, писала свои воспоминания, или «Записки княгини», которые, как вы заметили, дорогие читатели, в изобилии цитировались в этой книге. Её навещали знакомые ей по путешествию английские леди, дружбой с которыми она очень дорожила. В честь одной из них, леди Гамильтон, она даже назвала одну из своих деревень — Гамильтон. А другой своей подруге-англичанке, мисс Уильмот, она посвятила свой труд — «Записки княгини» с письмом-посвящением.