Во время путешествия Екатерины Романовны за границу Дени Дидро записал слова княгини о том, что после дела Хитрово только болезнь избавила ее от ареста. В "Записках" об этом нет ни слова. Однако есть живая картина страданий Дашковой в часы ожидания действий императрицы, совершенно непонятная, если принять версию мемуаров о непричастности Екатерины Романовны к делу. Страх, испытанный молодой женщиной, еще не оправившейся после родов, привел к нервному срыву. "Я почувствовала сильные внутренние боли и судороги в руке и ноге", -- пишет она . После припадка, сопровождавшегося частичным параличом конечностей, княгиня выздоравливала очень долго. О Хитрово Екатерина Романовна сообщает, что он был сослан в Сибирь. Это не так, княгиня со свойственной ей горячностью сгущает краски. Хитрово отправили в родовое имение, а двое его товарищей просто были уволены со службы.
Вскоре двор отбыл в Петербург, а Дашкова вынуждена была остаться в Москве под благовидным предлогом "поправления здоровья". Это была первая кратковременная опала княгини. "Чистый воздух, холодные ванны и правильная жизнь благотворно повлияли на мое здоровье. В декабре я, хотя еще и не совсем окрепши, уехала в Петербург", -- сообщала княгиня в мемуарах. Вновь в Москву Дашкова вернулась только через два года и опять опальной. На этот раз ее имя оказалось замешано в деле подпоручика В.Я.Мировича, предпринявшего неудачную попытку освободить из Шлиссельбургской крепости свергнутого Елизаветой Петровной императора Ивана Антоновича. О роли Дашковой в деле Мировича английский посол Бакингемшир информировал свое правительство в июльских донесениях 1764 г. : "Княгиню Дашкову видели в мужской одежде среди гвардейцев, но за ее шагами внимательно следят, и ей скоро придется отправиться в Москву. Разочарованное тщеславие и неугомонная амбиция этой молодой леди, кажется, каким-то образом повлияли на ее чувства; если бы она удовлетворилась скромной долей авторитета, то могла бы оставаться до сего времени первой фавориткой императрицы".
Пока тянулось расследование связей Мировича в вельможной среде, к Дашковой пришло страшное известие. Ее муж, посланный с русскими войсками в Польшу, способствовать вступлению на престол короля Станислава-Августа Понятовского, скончался. Нервы Екатерины Романовны, и без того натянутые как струна, не выдержали. "Левая рука и нога... совершенно отказались служить и висели, как колодки,.. я пятнадцать дней находилась между жизнью и смертью" -- писала Дашкова.
Горе оглушило княгиню. Ее семейная жизнь не была гладкой: измученный домашним деспотизмом супруг случалось изменял Екатерине Романовне, она ревновала его к императрице. Много лет спустя на одном из московских балов дочь Дашковой Анастасия Щербинина говорила А.С.Пушкину, что ее отец был влюблен в Екатерину II. На многие выходки Дашковой императрица закрывала глаза из-за дружеского расположения к князю. Больше этой защиты не было.
За Михаилом Ивановичем числились очень крупные долги. Дашкова обладала самыми богатыми родственниками в России. Следовало ожидать, что они не оставят княгиню в несчастье. Но, судя по "Запискам", вышло иначе. Панины, которым Михаил Иванович перед смертью поручил опеку над женой и детьми, по службе, не могли заниматься ее имениями и уговорили княгиню саму войти в роль третьего опекуна, т.е. вся тяжесть управления хозяйством легла на плечи неопытной в этом отношении женщины. Воронцовы отвернулись от Екатерины Романовны еще со времен переворота. В старой столице опальную княгиню с детьми ждала крупная неприятность. Ее свекровь, еще недавно благосклонно настроенная к невестке, теперь показала Екатерине Романовне, что такое старомосковские порядки. Она по своему усмотрению распорядилась недвижимостью, и подарила свой московский дом внучке Глебовой, а сама перебралась в монастырь. Оказалось, что Дашковой просто негде жить в Москве, и она приказала везти себя в Троицкое. Почему ни один из московских родственников ее мужа не захотел приютить у себя в доме молодую вдову с двумя маленькими детьми ? В "Записках" Екатерина Романовна об этом не пишет, но ситуация и без того выглядит достаточно прозрачно. На княгине лежала печать царской немилости, и родные просто побоялись сближаться с заподозренной в заговоре особой.
В подмосковном имении Троицком для Дашковой началась совсем новая жизнь. Она сама должна была стать управителем имений и строго следить за выплатой долгов покойного супруга. Впервые Екатерине Романовне пришлось самой иметь дело с крепостными. Известный издатель прошлого века М.И. Семевский справедливо замечал, что, когда речь идет об историческом деятеле XVIII в., нелишне знать, как он относился к своим крестьянам. Екатерина Романовна оказалась суровой помещицей, ее крестьяне часто бунтовали. Взгляды Дашковой на крепостное право вскрылись в ее диалогах с Д.Дидро во время путешествия во Францию. Исчерпав все доводы в пользу освобождения крестьян только после их просвещения, она восклицает:
"Если б самодержец, разбивая несколько звеньев, связывающих крестьянина с помещиком, одновременно разбил бы звенья, приковывающие помещика к воле самодержавных государей, я с радостью и хоть бы своей кровью подписалась бы под этой мерой". Читая эти пламенные строки, надо знать, что цепь, сковывавшая императора и дворян, была разорвана к тому времени уже около десяти лет манифестом Петра III "О вольности дворянства" 1762 г. Об этом в разговоре с философом владелица большого состояния умолчала. Ее крестьяне нередко ударялись в бега целыми деревнями, спасаясь от непосильных оброков. В "Записках" же создается впечатление, что Екатерине Романовне удалось поправить свое имущественное положение исключительно благодаря строжайшей экономии.
О моральном состоянии Дашковой в годы ее первой серьезной опалы свидетельствует переписка княгини с братом Александром Романовичем Воронцовым, чрезвычайным и полномочным министром России в Голландии, единственным родственником Екатерины Романовны, который продолжал тогда поддерживать с ней отношения. В мае 1766 г. Александр Романович намеревался вернуться в Россию, чтоб продолжить службу в коллегии иностранных дел. Дашкова в самых горячих выражениях отговаривала его. "Не одобряю Ваше желание, - писала она. - Имея какой угодно ум и способности, тут ничего нельзя сделать, т.к. здесь нельзя ни давать советы, ни проводить систему: все делается волею императрицы - и переваривается господином Паниным... Маска сброшена... никакая благопристойность, никакие обязательства больше не признаются".
Важная для русского либерального сознания тема о том, что в России "ничего нельзя сделать" - одна из самых ярких в переписке семейства Воронцовых. А ведь на годы изгнания Дашковой приходятся такие серьезные государственные мероприятия как секуляризация церковных земель, освободившая от крепостной зависимости два миллиона крестьян, напряженное законодательное творчество Екатерины II, подготовка Уложенной Комиссии. Но Екатерина Романовна как бы не замечает этих событий, поскольку при их подготовке ни ее советами, ни ее "системой" не воспользовались.