Как и ее муж, графиня Анна Сергеевна много занималась благотворительностью: с 1838 года стала членом Императорского женского патриотического общества, исполняла обязанности попечительницы школы этого общества в Нарвской части Санкт-Петербурга.
Во многом благодаря Анне дом Шереметевых стал одним из великосветских центров Петербурга. Графиня Анна Сергеевна устраивала в Фонтанном доме вечера, на которых присутствовали, кроме приглашенных гостей из высшего общества, иностранных дипломатов и путешественников, многие русские и зарубежные музыканты. Она была близкой подругой многих людей из творческой среды, а ее постоянными гостями были Рубини, Виардо, пианисты Тальберг, Лист.
Теодор Делер, который сочинял музыку для Шереметевской Капеллы, также часто бывал в их доме, и там он познакомился с младшей сестрой графини – Елизаветой Сергеевной Шереметевой, и впоследствии женился на ней.
Неоднократно бывала в Фонтанном доме Прасковья Арсеньевна Бартенева, фрейлина императрицы, замечательная певица-любительница, ее с графиней Анной Сергеевной связывали общее прошлое при дворе и дружеские отношения после замужества Анны. Бартенева не пропускала ни одного домашнего концерта Шереметевых и сама часто выступала на них.
Бывал на этих вечерах и Борис Сергеевич Шереметев, младший брат хозяйки дома, который также очень любил музыку и получил известность как композитор-любитель. Именно он написал музыку на стихи Пушкина «Я вас любил», на слова Тютчева «Еще томлюсь тоской желаний», графа А. Толстого «Средь шумного бала», которые до сих пор являются очень популярными романсами.
Осенью 1842 года она вместе с маленьким сыном Николаем и сестрой Елизаветой Сергеевной отправилась в Париж – Елизавета Сергеевна мечтала брать уроки игры на фортепьяно у знаменитого Шопена. Сестры познакомились с композитором, обе пели для него, Елизавета взяла несколько уроков. Шопен был так поражен красотой и талантом Анны, что тут же сделал набросок мелодии в ее нотной тетради – мелодии, которая потом стала носить название «Листок из альбома». Листок этот, на котором великий композитор написал посвященную Анне мелодию, долго потом хранился среди бумаг Шереметевых.
Из Парижа сестры отправились в Италию, где посещали оперу и слушали итальянских музыкантов, а затем вернулись в Россию, где их встретил Дмитрий Николаевич.
Но уже в начале 1843 годов в семье Шереметевых случилось несчастье: умер от скарлатины их единственный и горячо любимый сын четырех лет от роду. Анна долго не могла прийти в себя и оправилась от своего горя только с рождением второго ребенка. 1844 года в Фонтанном доме у супругов родился второй сын. В графской семье была традиция – давать детям имена в честь кого-то из предков, и мальчика назвали Сергеем в честь Сергея Васильевича Шереметева, отца графини Анны Сергеевны.
Лето семья обычно проводила в Кусково, которое Анна любила больше всех других Шереметевских усадеб. И именно в Кусково ей суждено было умереть – летом 1849 года она простудилась и угасла буквально за несколько дней. Ей было всего 38 лет.
Тут же поползли слухи, что молодая женщина была отравлена бульоном, который в тот день подавали к столу.
Кто-то из завистников графа отравил его жену, – шептались при дворе. – Подкупил повара или кого-то из слуг, чтобы те подсыпали отраву в бульон. Она только съела ложку – сразу почернела и упала замертво.
Но врагов у графини не было – просто некому было совершить такое преступление.
После смерти жены граф остался жить в Москве. Он заперся в своем доме и не выходил оттуда целыми днями, проводя время перед портретом жены. Через лакея он отдавал указания касательно воспитания сына.
Через некоторое время поползли слухи, будто он состоит в связи с сестрой покойной жены, девицей Варварой Сергеевной Шереметевой. Ее и правда слишком часто видели в его доме, притом пьяной, она отличалась эксцентричными выходками и однажды собственноручно высекла всех учениц школы, которая находилась под ее патронатом. Когда об этом узнал император, он приказал ей немедленно убраться из Шереметевского дома под угрозой заключения в монастырь, а самому Шереметеву велел приехать в Петербург и заниматься воспитанием сына.
В Петербурге Шереметев жил очень замкнуто, при дворе не появлялся, не общался даже с собственным сыном, а все время проводил в обществе своих кучеров и лакеев. Чтобы не обижать императорскую семью и влиятельных знакомых, он подговорил швейцаров во всех дворцах, и те приносили ему на дом книги, в которых обычно расписывались посетители. Таким образом, сидя безвылазно дома, Шереметев создал иллюзию того, что периодически выезжает с визитами.
В 1857 году граф Дмитрий Николаевич вступил во второй брак, обвенчавшись с Александрой Григорьевной Мельниковой, которая была приятельницей его любовницы Варвары. Невеста была моложе жениха на 22 года, однако к моменту заключения брака уже считалась старой девой. Граф хотел, чтобы у его сына была мать, но сделал не лучший выбор.
Свадьба состоялась очень тихо и скромно, и первое время такой же тихой была и жизнь супругов, но затем Александра Григорьевна поняла, что ее мужа, человека доверчивого и непрактичного, попросту обкрадывают, и что некоторых служащих надо срочно удалить. Она посчитала первым своим долгом освободиться от запутавших его управляющих и людей, злоупотреблявших доверием. Кроме того, став графиней Шереметевой, Анна Григорьевна стремилась всячески подчеркнуть свой новый, более высокий социальный статус. Это проявлялось, например, в том, как она занималась благотворительностью. Если граф предпочитал делать добро так, чтобы как можно меньше публики это видело, она, напротив, стремилась к наибольшей публичности.
Графа эти новые порядки в доме и его жизни раздражали, но неуемная жажда деятельности не покинула его жену даже с рождением сына Александра, крестным которого стал сам император.
Однако вскоре случились перемены гораздо более глобальные и болезненные для графа – освобождение крестьян.
Граф был одним из крупнейших землевладельцев, ему принадлежали земли с крепостными крестьянами в разных уездах Владимирской, Воронежской, Курской, Московской, Нижегородской, Орловской, Рязанской, Санкт-Петербургской, Симбирской, Смоленской, Тульской, Харьковской, Ярославской губерниях, конный завод в селе Серебряные пруды Веневского уезда Тульской губернии, четыре каменных дома в Петербурге и два в Москве, дачи на Петергофской дороге и в Павловске под Петербургом и в селах Кусково и Останкино под Москвой, несколько имений в Лифляндии, в Пензенской и Тверской губерниях, а также несколько каменных и деревянных строений в Москве, Петербурге и Кронштадте. В общей сложности ему принадлежало в тринадцати губерниях более ста пяти тысяч душ.
