Основным наследником громадного состояния Кирилла Разумовского был его старший сын Алексей. Долгие годы он уединенно пребывал в своей подмосковной усадьбе Горенки, где создал огромный ботанический сад, ставший одной из достопримечательностей Первопрестольной. Из замкнутости его вытащил Александр I, сделав в 1807 году попечителем Московского университета. Наконец, в 1810 году Алексей Кириллович Разумовский был назначен министром народного просвещения и вошёл в число влиятельнейших сановников — до своей отставки в 1816 году. Пожалуй, главной его заслугой было открытие Царскосельского лицея. Современники характеризуют его как человека педантичного, сдержанного, к окружающим строгого, но одновременно и справедливого. Таким же он был и в домашней жизни. К примеру, ел только два раза в день, признавая лишь завтрак и обед. Даже от своих детей он требовал, чтобы к нему обращались не иначе как «граф».
Ещё в 1784 году Алексей Разумовский разошёлся с первой женой Варварой Петровной Шереметевой; мизантроп и вольтерьянец, он не выдержал её агрессивно назойливую набожность. В дальнейшем его подругой жизни стала дочь простого берейтора Мария Михайловна Соболевская, родившая ему десять детей — пять сыновей и пять дочерей. Об этой женщине почти ничего не известно, но союз оказался на редкость прочным и длился тридцать пять лет, до самой смерти Алексея Разумовского. Все дети получили фамилию Перовских по уже упомянутому селу Перово. Вряд ли этот, хотя юридически и не оформленный, брак можно считать неравным. Ведь о демократическом происхождении Разумовских все хорошо знали. Правда, когда встал вопрос о потомственном дворянстве детей, срочно были сфабрикованы документы о первом браке Соболевской с неким польским шляхтичем Перовским, якобы погибшим при штурме Варшавы войсками Суворова в 1794 году. Сама она до смерти по документам оставалась мешанкой.
Перовские оказались талантливой порослью. О старшем сыне Алексее (писателе Антонии Погорельском) разговор особый. Младшие братья Василий и Лев сделали блестящую карьеру и при Николае I поднялись на вершину правительственной пирамиды. Василий Перовский стал одним из крупнейших государственных деятелей николаевского времени; будучи оренбургским генерал-губернатором, он фактически подготовил русское завоевание Средней Азии. Из дочерей внимание привлекают младшие: Ольга Алексеевна и Анна Алексеевна.
Незаконные дочери высокопоставленных и родовитых отцов фактически были лишены возможности самим устраивать свою судьбу; им надлежало подчиняться воле родителей, приискивающих для них женихов. Ольга Алексеевна была выдана за артиллерийского офицера Михаила Жемчужникова; никто и не предполагал, что его ждёт блестящая карьера. Анне Алексеевне в мужья предназначался граф Константин Петрович Толстой, к чему она относилась безропотно. Если в немногочисленных биографических публикациях о поэте родство с Разумовскими всячески подчёркивается, то отец фактически остаётся в тени. Это объясняется тем, что в жизни своего сына он не играл почти никакой роли. Однако совершенно игнорировать его невозможно уже хотя бы потому, что он приходился родным братом знаменитому художнику Фёдору Петровичу Толстому. Так и с отцовской стороны поэт безусловно унаследовал творческие наклонности.
О «дяде Константине» подробно рассказывает в воспоминаниях его племянница Мария Фёдоровна Каменская (дочь художника):
«В те времена детей в корпусе принимали очень маленькими, и дядю отдали в малолетнее отделение пятилетним ребёнком. 17-ти лет он был уже выпушен офицером в какой-то Фридрихсгамский полк, и военная карьера его пошла быстро и счастливо. Несмотря на то, что дядя рассказывал мне про неё наиподробнейшим образом (не пропуская даже того, что был лучший танцор в их полку и что раз на балу сама шведская королева выбрала его себе кавалером и танцевала с ним), я всё-таки не стану следить шаг за шагом за всеми его отличиями и повышениями, а скажу прямо, что он делал шведскую кампанию и начало французской; верно, он был очень храбр, если получил золотую шпагу „За храбрость“, Анну 2-й степени и много ещё каких-то орденов и медалей. Такой необыкновенной св. Анны, какая была у дяди, я что-то после ни у кого не видывала: она была очень большая, и на четырёх концах креста, на месте теперешней эмали, сидели четыре продолговатые рубина, или стеклышка под рубин, и около них были и бриллианты… Очень нарядный был крест. Но он принес дяде несчастье, или, рассуждая по-военному — счастье. В сражении, за которое он его получил, дядя был ранен в левую ногу, не мог продолжать военную службу и 26-ти лет выпущен в отставку „с мундиром“… Наружностью он красив не был, но имел самое доброе, милое лицо; телом широк в костях, крепок и силён, в движениях быстр, тороплив, но неловок… Характером он был слаб и податлив… Но зато сердце имел самое доброе, мягкое и чистейшую душу. На всякое хорошее дело отзывался из первых, ласку и доброе слово ценил выше всего. Да, вполне прекраснейший человек был мой дядя Константин»[3].
Уже с первого взгляда было ясно, что жених и невеста — неровня. Молодая, миловидная и образованная девушка не могла найти ничего привлекательного в пожилом человеке, не блиставшем ни красотой, ни умом. Она сразу же сказала ему, что никогда его не полюбит и идёт замуж только по воле родителей. Константин Петрович Толстой надеялся со временем привязать к себе жену добротой и уступчивостью, но с самого начала потерпел поражение. Когда жених навещал Перовских, сразу же создавалась партия, и его сажали за ломберный стол, откуда он, страстный игрок, уже не поднимался до ухода. Невеста же уединялась в своей комнате с братом Алексеем якобы для чтения; они были чрезвычайно дружны. Настоящим предметом увлечения невесты был брат жениха — художник Фёдор Петрович, но он уже был женат и, кроме того, бросал неравнодушные взоры на другую сестру, Ольгу Перовскую.
Константин Петрович Толстой и Анна Алексеевна Перовская были обвенчаны в церкви Симеона и Анны на Моховой улице в Санкт-Петербурге. В положенное время через девять месяцев 24 августа 1817 года родился их сын, названный в честь деда Алексеем. Он был крещён в этой же церкви 15 сентября. Восприемниками стали действительный тайный советник граф Алексей Кириллович Разумовский и его сестра генеральша Екатерина Кирилловна Нарышкина. Уже через два месяца родители будущего поэта навсегда разошлись. Мать забрала младенца и уехала к брату Алексею в его имение Погорельцы Черниговской губернии. Это мало кого из окружающих удивило. Каменская вспоминает:
«Так как в делах между мужем и женою судьёю никто быть не может, то лучше об этом и замолчать.
