За домом Ешевской находился большой сад, простиравшийся до Зацепы и отделявшийся от нее гнилым забором. Аполлон наблюдал сквозь щели забора, «как собирались и разыгрывались кулачные бои, как ватага мальчишек затевала дело, которое чем дальше шло, тем все больше и больше захватывало больших. О! как билось тогда мое сердце, — вспоминал Григорьев, — как мне хотелось тогда быть в толпе этих зачинающих дело мальчишек, мне, барчонку, которого держали в хлопках» (то есть в вате, в хлопке). «А в большие праздники водились тут хороводы фабричными».
В 1831-м или в начале 1832 года родители купили дом в том же Замоскворечье, но немного западнее, на улице Малая Полянка, и ныне благополучно существующей в относительно патриархальном виде, хотя и в нее вторглось современное многоэтажное строительство именно в квартале Григорьевых. И как раз дом Григорьевых, который так много видел на своем веку, был снесен в 1962 году, участок долго стоял пустым, как будто вырвали зуб, — все дома вокруг спокойно существовали, а тут — пустырь. Потом здесь построили унылый многоэтажный дом. Это дом № 12. Взорвали еще в тридцатых годах и церковь Спаса Преображения в Наливках, приходскую церковь Григорьевых, находившуюся в конце Малой Полянки, через несколько участков от дома родителей Аполлона. На фотографии 1915 года, где дом снят с севера, от центра города, за соседним домом хорошо видна колокольня церкви. А сейчас там тоже понастроены унылые коробки домов, и так как церковь взорвали до основания, то ее уже не восстановить. Сохранилось только легкое возвышение — это место сейчас занимает детская площадка во дворе между «строениями» 1 и 2 дома № 17/1 по 1-му Спасоналивкинскому переулку; у холмика можно видеть остатки церковного фундамента, а остатки церковной ограды сохранились на тротуарах у угла названного и Казанского переулков.
Дом Григорьевых был достаточно вместительным, как описывал Фет: каменный подвал с кухней и помещением для дворни; затем основной этаж, деревянный, состоящий из передней, коридоров и шести комнат (зала, гостиная, столовая, спальня, девичья, одна комната без названия — бывшая детская); наконец, вместительный мезонин под крышей, где были два отдельных помещения, в каждом по большой комнате, да еще с отгороженными спаленками.
К дому примыкали сад и довольно большой двор, где были и конюшня (отец стал держать пару лошадей), и коровник — корова приносила хозяевам свежие молоко, сливки, масло. Отец, видимо, поправил свое положение в чиновничьем мире — покупка дома с усадьбой тому верное доказательство.
В феврале 1822 года Александр Иванович поступил в Московскую казенную палату, а в ноябре, значит, вскоре после рождения Аполлона, стал штатным секретарем 2-го Департамента Московского городового магистрата. В 1842 году, в год окончания Аполлоном университета, отец все еще служил в этой должности, имея чин 9-го класса — титулярного советника (который давал право лишь на личное дворянство, а не на потомственное). Видимо, вскоре он вышел на пенсию, так как в московском адрес-календаре на 1846 год его уже нет в числе служащих.
Материальная жизнь семьи в тридцатых годах уже наладилась. А.А. Фет, пять лет (1839—1844) проживший на хлебах у Григорьевых, застал Александра Ивановича уже в достаточном довольствии: «Жалованье его, конечно, по тогдашнему времени было ничтожное, а размеров его дохода я даже приблизительно определить не берусь. Дело в том, что жили Григорьевы, если не изящно, зато в изобилии, благодаря занимаемой им должности. Лучшая провизия к рыбному и мясному столу появлялась из Охотного ряда даром. Полагаю, что корм пары лошадей и прекрасной молочной коровы, которых держали Григорьевы, им тоже ничего не стоил».
Крепостной дворни у Григорьевых было вначале четыре человека: кучер Василий, его жена Прасковья (старшая нянька и кухарка; она была вольной, но, овдовев, вышла по страстной любви за непутевого Василия и тем самым сама себя закрепостила), слуга Иван, младшая нянька и горничная Лукерья, да еще в дом были взяты из деревни дети, специально для Полошеньки — почти ровесник ему Ванюшка и чуть постарше Марина. Когда отец стал более зажиточным, он еще купил повара Игнатия. Лукерья тогда стала женой повара.
Жизнь родителей шла почти в обломовском духе, если не считать службы Александра Ивановича и потому необходимости приноравливаться к часам. Вставал хозяин рано, в начале восьмого, вскоре вставала и Татьяна Андреевна. Иван ставил самовар, Лукерья шла одевать и обувать Полошеньку (вот уж где была чистая обломовщина: мальчика одевали до тринадцатилетнего возраста). А когда Аполлон подрос, как вспоминал Фет, он уже сам будил родителей: садился в зале за рояль и сонатами заменял будильник. Семья собиралась в столовой, пила чай, Аполлону отец наливал большую кружку и клал немыслимо много сахару.
Затем Василий запрягал пару и отвозил хозяина в магистрат, а к двум часам, если только не было чрезвычайных происшествий (приезд начальства, ревизии и т. п.), привозил домой. Иногда, и довольно часто, Александр Иванович возвращался пешком, тогда Василий ехал за Аполлоном в университет. На двух часах дня служба отца и кончалась. Следовал сытнейший обед, потом родители отправлялись в спальню соснуть. А после сна, около пяти часов — чай, вроде английского «файвоклока». По праздникам ходили к обедне в Спасоналивкинскую церковь. Около восьми часов снова семейный сбор, вечерний чай. В девять слуги отпускались, шли на кухню ужинать и пьянствовать. Алкоголем злоупотребляли неслыханно. Когда Александр Иванович пожелал купить дом, то при поисках однажды сознательно отказался от добротного и дешево продававшегося дома только из-за того, что близко был кабак: пришлось бы ежедневно вытаскивать оттуда своих людей. Василий иногда и днем так напивался, что лошадьми правил хозяин, а позднее подросший Аполлон, поддерживая другой рукой Василия, чтобы не свалился под колеса. Да и Иван частенько напивался. Слушая споры Аполлона и его товарищей на философские темы и твердо запомнив имя «Гегель», пьяный Иван однажды при театральном разъезде крикнул на всю площадь вместо «карету Григорьева!» — «карету Гегеля!». За это он получил прозвище «Иван Гегель».
Молодые слуги Иван и Лукерья отличались вольным поведением, иногда ночи напролет пировали со своими соответственно любовницами и любовниками. Хозяева лениво пытались бороться с излишествами слуг: Александр Иванович по доброте своей чаще всего закрывал глаза, но иногда взрывался гневом, даже полицию призывал, а Татьяна Андреевна методично и постоянно отчитывала домашних, поедом их ела, но проку было мало: все продолжалось по-прежнему. Наверное, слуги про себя люто ненавидели «барыню», выскочившую из грязи в князи (Фет писал о ненависти Лукерьи), но внешне, конечно, не подавали вида.