Григорьев неожиданно привязался к «жрице» (тем более что она принадлежала, по его классификации, к группе «кошек»), она к нему тоже, возникла настоящая взаимная любовь, согревшая нашего неудачника впервые в его жизни. Возможно, что и Мария Федоровна впервые познала высокое чувство. Они сошлись, Григорьев переехал к ней на квартиру в доме каретника И.Л. Логинова на Невском проспекте. Здание не сохранилось ныне это участок дома № 61, между Владимирским проспектом и улицей Марата (первоначально эта улица называлась Грязной, после смерти Николая I — Николаевской, а в советское время получила имя героя Французской революции).
Но совместное житье-бытье оказалось совсем не безоблачным. Да и что в григорьевской жизни было безоблачным?! Прежде всего выяснилось большое различие в духовных уровнях, в идеалах и вкусах. Малообразованной Марии Федоровне были совершенно чужды творческие интересы Аполлона Александровича, его свободному антимещанскому поведению противостояла ее оглядка «как у людей», ее запачканная прежней грязью душа была очень закомплексована, ей постоянно мерещились косые и пренебрежительные взгляды, она постоянно ревновала любимого ко всем женщинам; лишенная воспитания и сдерживающих начал, она устраивала дикие сцены, била посуду и оконные стекла, впадала в безумную истерику и проч., и проч. Познакомившийся с ней позднее Ф.М. Достоевский, наверное, использовал некоторые ее буйные черты, рисуя своих героинь с непредсказуемым поведением.
Вскоре, с осени 1859 года, наступили и материальные трудности. Пока Григорьев был в первом полугодии ведущим сотрудником кушелевского «Русского слова», он получал много денег и тратил их бездумно. Как он честно сообщал в поэме «Вверх по Волге»:
И впрямь, как купчик, в эту пору
Я жил… Я деньгами сорил,
Как миллионщик, и кутил
Без устали и без зазору…
А потом наступили черные дни. В конце 1859 года Мария Федоровна родила мальчика, и отцу ребенка пришлось переживать, как он говорил потом, «некрасовскую ночь», имея в виду похожий сюжет из известного стихотворения Некрасова «Еду ли ночью по улице темной…». В квартире стоял адский зимний холод — не было дров. Мария Федоровна лежала больная после родов. Ребенок безнадежно плакал — у матери не было молока (вскоре мальчик умер). У взрослых не было денег на еду. И как раз в этот момент из Москвы приехал Эдельсон — стыдить и увещевать друга Аполлона за его беспутную жизнь и требовать, чтобы он помогал оставленной семье (помимо жены и детей был еще жив старый отец). Но сам Эдельсон ни копейкой не помог обедневшему другу, что тот помнил потом очень долго.
Неясно, постоянно ли жил Григорьев вместе с Дубровской в радужное время первой половины 1859 года, когда он интенсивнейше трудился у графа Кушелева-Безбородко в «Русском слове». Редакция журнала располагалась во дворцах графа, и помощнику главного редактора было сподручно пребывать в резиденции целый день, да и ночевать там было удобнее, чтобы утром сразу засесть за работу. Зимний дворец графа помещался на Гагаринской улице (нынешний адрес — ул. Фурманова, 3), это второй в Петербурге мраморный дворец после известного царского (точнее — великокняжеского) у Марсова поля (позднее Александр II купит кушелевский дворец для своей невенчанной жены княгини Юрьевской). Флигель его выходил на Гагаринскую набережную (нынешний адрес — наб. Кутузова, 24), напротив дома на Неве была пристань. А в двух верстах выше по течению Невы и на другой ее стороне был расположен летний дворец, тогда — загородный (ныне — Свердловская наб., 40) — оригинальное творение архитекторов В.И. Баженова (основной корпус) и Дж. Кваренги (флигели), с обилием чугунных львов вдоль всего фасада, держащих в зубах цепи; перед Домом на Неве тоже была своя пристань, которая в переделанном виде сохранилась до наших дней. В летние месяцы граф вместе с домочадцами и с редакцией «Русского слова» перебазировался в этот дворец; между дворцами курсировали нанятые лодки.
Гостеприимный граф и зимой держал свой дом-дворец открытым для друзей и знакомых, а в теплые месяцы его летний дворец вообще превращался в своего рода санаторий для многих десятков любителей вольной (и бесплатной) жизни.
Когда появлялись именитые гости, то, возможно, «нахлебники» редели, но, может быть, именитые не очень замечали окружающих. Александр Дюма-отец, прибывший в Россию вместе с семьей Кушелевых и приглашенный пожить во дворце, ни слова не говорит о толпах. Он подробно описывает предоставленное ему во дворце помещение: «Мои апартаменты были на первом этаже и выходили в сад, полный цветов. Они примыкали к большому прекрасному залу, используемому как театр, и состояли из прихожей, маленького салона, бильярдной, спальни для Муане (спутник Дюма, художник. — Б.Е.) и спальни для меня». Затем Дюма сообщает, очевидно, со слов хозяев, что во дворце находится 80 слуг, а в парке — две тысячи (садовников? крестьян?), и ни слова о гостях. Зато зоркий завсегдатай Д.В. Григорович видел изнанку графского гостеприимства, он удивлялся в своих «Литературных воспоминаниях» дворцу, переполненному жильцами, то есть совсем не аристократическому, а скорее разночинному, плебейскому Вавилону: «Странный вид имел в то время этот дом, или, скорее, общество, которое в нем находилось. Оно придавало ему характер караван-сарая, или, скорее, большой гостиницы для приезжающих. Сюда по старой памяти являлись родственники и рядом с ними всякий сброд чужестранных и русских пришлецов, игроков, мелких журналистов, их жен, приятелей и т.д. Все это размещалось по разным отделениям обширного когда-то барского дома, жило, ело, пило, играло в карты, предпринимало прогулки в экипажах графа, ни мало не стесняясь хозяином, который, по бесконечной слабости характера и отчасти болезненности, ни во что не вмешивался, предоставляя каждому полную свободу делать что угодно».
Насчет чужестранного сброда Григорович не совсем прав, гостили и почтенные люди: Александр Дюма-отец, известный американский магнетизер Даниэль (Дуглас) Юм; последний познакомился с графом в Италии и оказался не прочь породниться — женился на свояченице графа (сестре жены); свадьбу пышно отпраздновали уже в Петербурге, одним из шаферов был известный поэт граф А.К. Толстой, и Дюма на ней присутствовал; поэтому Юм жил у графа на правах родственника. Но в целом Григорович был прав насчет «сброда».
Добрую половину своих постояльцев граф и в лицо не знал! Если Григорьев живал у графа в зимнем или летнем дворце, то очень мало вероятно, чтобы он туда привозил Марию Федоровну. По имеющимся сведениям, во дворце у него была своя комната, но ночевать он обычно уезжал «домой». Его дядя Николай Иванович Григорьев на вопрос своей дочери Варвары о Юме описал ей интересный эпизод (письмо от начала сентября 1860 года): «Аполлон коротко его знает, потому что он жил при нем у своего свояка г-фа Кушелева в доме, — с Аполлоном, или то есть Аполлону Юм раз проходя вечером из комнаты в другую, пожал подойдя к нему ни с того ни с сего его руку, сказав ему: «Вы сегодня будете видеть вашу мать» и ушел. Аполлон посмеялся мистификации, забыл предсказание, кончил свои журнальные занятия и уехал домой; но в эту ночь видел ясно свою мать — разумеется, не спавши — в саване, с закрытым лицом идущею к нему из другой комнаты, — когда он разбирал у стола литературные произведения чьи-то. — Он позвал бывших в другой комнате людей, и привидение исчезло».