Напряжение между Екатериной II и Дашковой проявлялось все заметнее. В Москве впервые наметилась грань разрыва. В самый разгар слухов о возможности совершения брака между императрицей и Г. Г. Орловым вспыхивает так называемое дело Хитрово, связанное с именем Дашковой. Несколько гвардейских офицеров, участвовавших в перевороте и недовольных полученными наградами, предприняли попытку отстранить партию Орловых от власти. Склоняя гвардейцев на свою сторону, камер-юнкер Ф. А. Хитрово ссылался на поддержку таких влиятельных лиц как Н. И. Панин, генерал-прокурор Сената А. И. Глебов и Е. Р. Дашкова.
В процессе дознания Хитрово продолжал ссылаться на Дашкову. Оба брата Паниных, немедленно приехали в дом своего племянника и заперлись с Михаилом Ивановичем в отдельной комнате, чтоб обсудить создавшуюся ситуацию. Сама княгиня до совещания допущена не была. 12 мая она родила сына Павла и лежала в постели, поправляясь после родов. Екатерина Романовна испытывала муки Тантала, не имея возможности услышать, о чем говорят Панины с ее мужем за стеной, в соседних покоях. Утром того же дня приехал статс-секретарь Екатерины Г. Н. Теплов с письмом императрицы, но не к Дашковой, а к ее мужу. Михаила Ивановича просили частным образом повлиять на жену. «Я искренне желаю не быть в необходимости предать забвению услуги княгини Дашковой за ее неосторожное поведение. Напомните ей это, когда она снова позволит себе нескромную свободу языка, доходящую до угроз», — писала императрица.
Во время путешествия Екатерины Романовны за границу Дени Дидро записал слова княгини о том, что после дела Хитрово только болезнь избавила ее от ареста. В «Записках» об этом нет ни слова. Однако есть живая картина страданий Дашковой в часы ожидания действий императрицы, совершенно непонятная, если принять версию мемуаров о непричастности Екатерины Романовны к делу. Страх, испытанный молодой женщиной, еще не оправившейся после родов, привел к нервному срыву. «Я почувствовала сильные внутренние боли и судороги в руке и ноге», — пишет она. После припадка, сопровождавшегося частичным параличом конечностей, княгиня выздоравливала очень долго. О Хитрово Екатерина Романовна сообщает, что он был сослан в Сибирь. Это не так, княгиня со свойственной ей горячностью сгущает краски. Хитрово отправили в родовое имение, а двое его товарищей просто были уволены со службы.
Вскоре двор отбыл в Петербург, а Дашкова вынуждена была остаться в Москве под благовидным предлогом «поправления здоровья». Это была первая кратковременная опала княгини. «Чистый воздух, холодные ванны и правильная жизнь благотворно повлияли на мое здоровье. В декабре я, хотя еще и не совсем окрепши, уехала в Петербург», — сообщала княгиня в мемуарах. Вновь в Москву Дашкова вернулась только через два года и опять опальной. На этот раз ее имя оказалось замешано в деле подпоручика В. Я. Мировича, предпринявшего неудачную попытку освободить из Шлиссельбургской крепости свергнутого Елизаветой Петровной императора Ивана Антоновича. О роли Дашковой в деле Мировича английский посол Бакингемшир информировал свое правительство в июльских донесениях 1764 г.: «Княгиню Дашкову видели в мужской одежде среди гвардейцев, но за ее шагами внимательно следят, и ей скоро придется отправиться в Москву. Разочарованное тщеславие и неугомонная амбиция этой молодой леди, кажется, каким-то образом повлияли на ее чувства; если бы она удовлетворилась скромной долей авторитета, то могла бы оставаться до сего времени первой фавориткой императрицы».
Пока тянулось расследование связей Мировича в вельможной среде, к Дашковой пришло страшное известие. Ее муж, посланный с русскими войсками в Польшу, способствовать вступлению на престол короля Станислава-Августа Понятовского, скончался. Нервы Екатерины Романовны, и без того натянутые как струна, не выдержали. «Левая рука и нога… совершенно отказались служить и висели, как колодки… я пятнадцать дней находилась между жизнью и смертью» — писала Дашкова.
Горе оглушило княгиню. Ее семейная жизнь не была гладкой: измученный домашним деспотизмом супруг случалось изменял Екатерине Романовне, она ревновала его к императрице. Много лет спустя на одном из московских балов дочь Дашковой Анастасия Щербинина говорила А. С. Пушкину, что ее отец был влюблен в Екатерину II. На многие выходки Дашковой императрица закрывала глаза из-за дружеского расположения к князю. Больше этой защиты не было.