Ни в чем не желая упрекать себя, он считал жену виновницей своего главного несчастья - удаления от Екатерины и вынужденного безделья. Упреками и мелким домашним тиранством граф буквально изводил несчастную женщину, которая и так не чувствовала себя хозяйкой в доме, где каждая мелочь, каждая ваза, табакерка, перстень, платок напоминали об императрице. В Москве Дарья Федоровна родила двоих детей: Матвея и Марию, но и это не смогло вновь сблизить ее с мужем. Молодая графиня заметно чахла, и наконец в 1801 г. умерла. Ее супруг, замкнутый и избегавший общества, вынужден был сам заняться детьми. Александр Матвеевич относился к малышам скорее как добросовестный опекун, чем как любящий отец. Их окружало множество воспитателей и учителей, некоторые из которых были специально выписаны графом из Парижа. Надо отдать Мамонову должное, его дети действительно получили прекрасное образование, но отсутствие домашнего тепла болезненно сказалось впоследствии на характерах обоих.
Обладая огромным состоянием и прекрасными задатками, граф, уйдя в отставку, так и не нашел себе дела. Свою опалу он переносил гораздо болезненнее, чем другие вельможи того времени, оказавшиеся в Москве на вынужденном покое. Блестящий кавалер, остроумный собеседник, приятный гость, он даже не попытался вписаться в круг московского дворянского общества того времени и тем самым добровольно лишил себя общения с людьми.
Почему? Может быть общество было к нему не расположено? Напротив. В это же самое время в Москве жил другой отставной фаворит Екатерины II Иван Николаевич Римский-Корсаков, история опалы которого напоминала случай Мамонова. Его фавор окончился 10 лет назад из-за связи с приятельницей императрицы графиней П.А. Брюс. Правда, Прасковья Александровна не была молоденькой фрейлиной, они с императрицей родились в один год, но "Брюсша", как графиню за глаза именовали в свете, считалась красивейшей дамой при дворе и была широко известна своими куртуазными похождениями. О Римском-Корсакове москвичи сплетничали ни чуть не меньше, чем о Мамонове. Дело усугубилось еще и тем, что он увез с собой в старую столицу Е.П. Строганову, жену одного из богатейших меценатов России А.С. Строганова. Влюбленная дама разъехалась с мужем и открыто поселилась в доме Римского-Корсакова в Москве. Жили они по-семейному, имели общих детей, получивших впоследствии дворянство под фамилией Ладомирских, и ни от кого не прятались.
Итак, дорога для Мамонова была уже проложена. Ничего необычного в его приезде в старую столицу не замечалось. Куда сложнее было когда-то Г.Г. Орлову проехать через Москву, где толпа забрасывала его карету грязью, или А.Г. Орлову явиться в старую столицу с клеймом цареубийцы на лбу, но и они нашли в себе мужество не прятаться. Сделай Мамонов шаг навстречу московскому обществу, найди в себе силы жить в нем, и рано или поздно он был бы принят. Но мягкий и мнительный Александр Матвеевич не смог.
Ланжерон писал в мемуарах: "Некоторые из фаворитов умели облагородить свое унизительное положение: Потемкин, сделавшись чуть не императором, Завадовский - пользой, которую приносил в администрации; Мамонов испытываемым и не скрываемым стыдом". Во время памятного разговора Екатерины с А.В. Храповицким о женитьбе Мамонова императрица сказала: "Он от всех отдалился, избегал даже меня. Его вечно удерживало в его покоях стеснение в груди. А на днях вздумал жаловаться, будто совесть мучает его; но не мог себя преодолеть... Сперва, ты помнишь, имел до всего охоту, и все легко давалось, а теперь мешается в речах, все ему скучно, и все грудь болит".
В зените своего влияния Александр Матвеевич испытывал что-то вроде страха перед большим стечением народа: ему казалось, что все на него смотрят и все осуждают. Гарновский в донесениях на юг рассказывал, что во время венчания, по просьбе Мамонова, в придворную церковь, не допускался никто посторонний, кроме лиц, непосредственно присутствовавших на свадьбе. Потом последовал скромный свадебный ужин с очень небольшим числом приглашенных. Через день молодые отбыли в Дубровицу "с тем, - отмечает Гарновский, - чтоб пробраться туда прямо, не заезжая в Москву".
Добровольно запершись в Дубровицах, Мамонов изводил себя и окружающих. Неудивительно поэтому, что по Москве пополз слух о его сумасшествии. Забегая вперед скажем, что, зная о душевной болезни сына Александра Матвеевича , мы не видим в этих слухах ничего невероятного. После смерти жены он все же сумел взять себя в руки. Упрекать больше было некого, а на его попечении остались двое маленьких детей. Первым решительным шагом к выходу из затянувшегося кризиса стала для Мамонова перестройка дворца. В соответствии с канонами классицизма старое усадебное здание было увенчано фронтонами. Работы, начатые с размахом, остановились после внезапной смерти самого владельца в 1803 г. "Больная грудь" не была отговоркой - чахотка, прогрессировавшая вместе с нервным заболеванием, свела Александра Матвеевича в могилу. Все свое огромное состояние он оставил сыну, юному графу Матвею Александровичу.
Судьба этого мальчика во многих отношениях примечательна, поскольку с сыном до известной степени повторились несчастья, постигшие его отца. Блестяще образованный и талантливый молодой граф быстро продвигался по служебной лестнице, к началу войны 1812 г. в 23-летнем возрасте он был уже обер-прокурором Сената. В трагические дни, когда французы подходили к Москве, граф на свои средства формирует полк, а затем участвует с ним в заграничном походе русской армии. Однако гордый и заносчивый Матвей Александрович чем-то не поладил с Александром I и вынужден был снять генеральский мундир и уйти в отставку. Так же как и его отец, он заперся в Дубровицах, никого не хотел видеть, почти никуда не выходил, и с 1817 г. по Москве поползли слухи о его помешательстве.
Недовольный "нашим неустройством" (общественными порядками в России), Мамонов вместе со своим другом генералом М.Ф. Орловым в 1814 г. создал первую преддекабристскую организацию "Орден русских рыцарей". Известный историк Ю.М. Лотман в специальной статье, посвященной жизни графа, высказывал мнение, что причиной его безумия была расправа, учиненная над ним как над членом декабристского общества: Мамонова объявили сумасшедшим, заключили в собственном доме и в конце концов он действительно сошел сума. Непонятно правда, что помешало Николаю I, если Александр Матвеевич был в действительности здоров, сослать его, как других членов общества, в Сибирь? Вероятнее всего признаки начинавшейся болезни как раз спасли Мамонова от возбуждения против него дела, однако насильственное заточение, опека, принудительное лечение еще больше усугубили помешательство графа. Много лет он прожил под строжайшим присмотром и скончался в 1863 г., уже совершенно умалишенным.
