«Однажды, — вспоминает Екатерина Дашкова в своих „Записках“, — отозвав меня в сторону, он удивил меня своим замечанием, вполне достойным его нехитрой головы и простого сердца ‹…› „Дитя мое, — сказал он, — вам бы не мешало помнить, что водить хлеб-соль с честными дураками, подобными вашей сестре и мне, гораздо безопаснее, чем с теми великими умниками, которые выжмут из апельсина сок, а корки бросят под ноги“».
Императрица Елизавета Петровна скончалась 25 декабря 1761 года, в самый день Рождества Христова, и место её на Всероссийском троне занял её племянник император Пётр III Феодорович. По своём воцарении он пожаловал Елизавету Романовну званием камер-фрейлины, приказал отвести ей во дворце комнаты рядом с его покоями и по примеру французских королей объявил её своей официальной фавориткой. 9 июня 1762 года фаворитка императора Романовна была пожалована орденом Св. Екатерины I степени и стала кавалерственной дамой Большего креста. В связи с этим событием князь Н. И. Репнин ночью приехал к Дашковой. Впоследствии Дашкова описала этот эпизод так: «Он казался чрезвычайно взволнованным и без дальних околичностей воскликнул: „Ну, моя милая кузина, все потеряно — наш план разрушен! Сестра ваша Елизавета получила орден Св. Екатерины, а я назначен министром-адъютантом, или министром-лакеем, к прусскому королю“.
Это обстоятельство, которое служило прелюдией низвержения императрицы, сильно поразило меня; орден Св. Екатерины жаловался только принцессам королевской крови».
Пётр III со многими, в том числе с княгиней Дашковой и с иностранными посланниками, делился своими планами о намерении заточить императрицу в монастырь и жениться на камер-фрейлине графине Воронцовой. Сама же Воронцова, ленивая, добродушная и безмятежная, не предпринимала никаких действий, так что у Екатерины II не было причин считать её врагом и даже на неё сердиться.
Княгиня Дашкова писала впоследствии: «Здесь я не могу не отдать справедливости моей сестре Елизавете, которая хорошо знала различие наших характеров и не требовала от меня того раболепного внимания к себе, на какое она получила право по своему положению от остальной придворной толпы».
Всего лишь через несколько дней после незаконного получения графиней Воронцовой ордена Св. Екатерины, 28 июня 1762 года, в ходе дворцового переворота, возглавляемого императрицей Екатериной Алексеевной, Пётр III подписал отречение, был низложен, а на следующий день, 29 июня, арестован. Говорили, что его Романовна бросалась в ноги Алексею Орлову с просьбой не разлучать их, а отпустить незадачливого императора, обещая, что они уедут и не будут никогда никому досаждать. Но просьба её не была уважена: Пётр III, содержавшийся под арестом, был препровождён в усадьбу Ропша, близ Петергофа, а Елизавета Романовна была отправлена временно в петербургский дом её отца. Дашкова посчитала необходимым навестить сестру и успокоить её. Когда она подъехала к дому своего отца, она увидела, что дом оцеплен солдатами со всех сторон и командует ими глуповатый офицер Каковинский. Дашкова отпустила часть солдат, а Каковинскому сделала внушение. О состоянии отца и сестры она написала в «Записках» так: «Отец принял меня без всякого ропота и неудовольствия. Он жаловался на обстоятельство, о котором я упомянула, и был недоволен тем, что дочь его Елизавета находилась с ним под одной кровлей. В первом случае я успокоила его, объяснив, что виной его стеснения было недоразумение Каковинского и что к вечеру в его доме не будет ни одного солдата. Что же касается второго обстоятельства, я умоляла его подумать о критическом положении моей сестры, для которой его дом стал единственно честным убежищем, как некогда был естественным ее приютом. „Скоро, впрочем, — прибавила я, — ваше покровительство ей будет не нужно, и тогда, если на то будет обоюдная добрая воля, можно расстаться совершенно прилично“».
Основной целью посещения дома отца для Дашковой была встреча с сестрой Елизаветой. Об этой встрече и о дальнейшей судьбе Елизаветы Романовны она пишет так: «Когда я вошла в комнату своей сестры, она начала оплакивать бедствия этого дня и свое собственное несчастье. Относительно личных неприятностей я советовала ей утешиться. Уверив в полной готовности служить ей, я в то же время заметила: государыня так добра и благородна, что поможет ей без всякого участия с моей стороны. В этом отношении моя уверенность была совершенно основательна».
Став императрицей, Екатерина II уволила Елизавету Воронцову от двора, лишила её придворного звания камер-фрейлины, объявила незаконным награждение её орденом Св. Екатерины, а вместе с этим и права носить портрет императрицы на голубом муаровом банте, прикрепляемом к платью. Но в то же время Екатерина II старалась упрочить материальное положение Елизаветы Романовны, желая даже купить ей дом в Москве. В связи с этим она приказала графу Роману Илларионовичу Воронцову, отцу Елизаветы, определить дочь, выделив ей часть своего имения, «чтоб она уже ни с кем дела не имела и жила в тишине, не подавая людям много причин о себе говорить».
Первое время своего царствования Екатерина II еще не совсем доверяла Елизавете Воронцовой, не надеясь на её благопристойное поведение, опасаясь пересудов со стороны придворных, разговоров об убийстве Петра III. Так, перед коронацией она писала Елагину: «Перфильич, сказывал ли ты кому из Лизаветиных родственников, чтоб она в дворец не размахнулась, а то, боюсь, к общему соблазну завтра прилетит».
Дашкова писала: «Хотя императрица сочла отсутствие Елизаветы Воронцовой необходимым во время коронации, она постоянно посылала ей гонцов с уверением в своем покровительстве. Сестра вскоре удалилась в подмосковную деревню отца; когда же после коронования двор оставил Москву, она переселилась сюда и жила здесь до своего замужества с Полянским». Графиня Елизавета Романовна Воронцова вышла замуж в 1765 году за полковника, а затем статского советника Александра Ивановича Полянского. Они жили в Петербурге, но Елизавета Романовна уже никогда не появлялась при дворе. Однако Екатерина II продолжала ей покровительствовать. По свидетельству Дашковой, когда у Елизаветы родился старший сын, императрица стала его крестной матерью. Императрица обращалась с милостями не только лично к Елизавете Романовне. Когда Анна Полянская, дочь Елизаветы, в 1781 году окончила Смольный институт, то, по одной из версий, Елизавета Воронцова-Полянская обратилась к Екатерине II с письмом, в котором просила дать её дочери Анне шифр, то есть должность фрейлины при дворе. Другую версию изложила Дашкова: «А через несколько лет ее дочь по моей просьбе была назначена фрейлиной».