Новая семья Львовых поселилась в Слепневе. Уже вскоре, 11 августа 1836 года, на свет появился первенец — Яков. 11 февраля 1838-го — Лев. В следующем году, 2 декабря, появилась на свет Варвара. В 1842 году (когда умер брат отца Константин) родилась Агата.
Совсем уж напоследок, когда отцу исполнилось сорок восемь, а матери сорок лет, 4 июня в семье Львовых родилась девочка, получившая при крещении имя Анна.
Иван Львович заботился о детях, старался, чтобы они получили необходимое образование. Сам согласился возглавить в Москве ремесленное училище. Однако после уединенного, спокойного и безмятежного бытия в Слепневе городская жизнь очень скоро ему наскучила. Он оставил службу и вновь поселился в своем поместье. Иван Львович любил и умел принимать гостей, хотя порой бывал со своими домашними нетерпелив и горяч. Как человек военный и обязательный, Львов страшно не любил опаздывать. Однажды, когда, по устоявшейся семейной традиции, Львовы собирались на пасхальное богослужение в Троицкую церковь, дети замешкались. Отец так на них прикрикнул, что Агата с испугу надела новое платье наизнанку. Когда они, как обычно, заранее появились в церкви, крестьяне указали молодой барыне на ее промашку. Агата Ивановна смутилась и тут же пошла переодеваться.
За доброту и отходчивость Ивана Львовича любили не только домашние, но дворовые и крепостные. Он частенько прощал им долги, хотя имение позволяло только-только прокормиться и никаких излишек не оставалось. Умер Иван Львович 20 февраля 1862 года в возрасте пятидесяти шести лет. Стояли холода, до фамильного кладбища предстояло проделать путь в семь километров по полям и холмам, насквозь продуваемым злыми колючими ветрами. Приготовили дроги, дворовые хотели на них установить гроб с покойным, но крестьяне не позволили этого сделать. До градницкого погоста они несли своего барина на руках. Анне исполнилось в тот год всего двенадцать лет.
Старший ее брат, Яков Иванович, поначалу решил стать морским офицером. С благословения родителей он поступил в морской кадетский корпус. Учился Львов легко, но из-за вспыльчивого и гордого характера никак не мог приладиться к железной дисциплине, царившей в этом учебном заведении. Пришлось перевестись в пехотное училище. Но, став пехотным офицером, Львов недолго носил мундир. Вскоре он женился на богатой невесте, получив в приданое поместье, и вышел в отставку, сделавшись обыкновенным помещиком. Молодые жили в любви и согласии, да вот беда — наследников Бог не дал! А Яков Иванович очень любил детей, приезжая в Слепнево баловал подарками младших сестер. В конце концов он взял из приюта на воспитание девочку и удочерил ее. В слепневском имении Яков не нуждался, и, с согласия матери Юлии Яковлевны, после смерти Ивана Львовича оно перешло Льву Ивановичу. Лев пошел по стопам отца. Окончив морской кадетский корпус, навсегда связал свою жизнь с морем и не мог заниматься имением. На хозяйстве осталась Юлия Яковлевна. Она всех жалела и вела полумонашеский образ жизни. Жили тем, что собирали с полей, лишних денег никогда не было. Чтобы заработать на свечки, которые по православным праздникам и дням поминовения она ездила ставить в Троицкую церковь, Юлия Яковлевна вязала чулки и носки, продавая их за бесценок «на масло для лампад».
Юлия Яковлевна всегда привечала в своем доме странников: богомольцев, нищих и убогих. После отмены крепостного права в окрестных поместьях случались поджоги барских усадеб, расправы с помещиками. И только в Слепневе все было тихо и спокойно. Однако события после 1861 года сказались и на укладе жизни Львовых: большая и дружная семья распалась. Вскоре после мужа, в феврале 1865 года, скончалась и Юлия Яковлевна. К тому времени в усадьбе уже остались одни дворовые люди. Старшая дочь Львовых, высокая стройная красавица с пышными светлыми косами, пользовалась успехом в бежецком дворянском обществе. Несмотря на отсутствие приданого, от желающих добиться ее руки отбоя не было. На ту пору в Бежецке квартировал лейб-гвардии уланский полк. Глянулся слепневской красавице стройный полковник-улан Фридольф Лампе. Варвара Ивановна приняла его предложение. Лампе, человеку принципиальному и мужественному, из-за решения жениться на русской девушке пришлось пойти на полный разрыв с семьей. Родные, гордившиеся своим знатным финским родом, не хотели об этом и слышать. Служба в уланском полку требовала денег, и немалых. Пришлось поставить крест на военной карьере. С женой и сыном Иваном Фридольф Иванович уехал в Царицын, где поступил на должность судебного следователя. Родившуюся вскоре дочь супруги Лампе назвали в честь его матери Констанцией, но это не помогло. Свекровь до конца жизни не признала ни русскую невестку, ни ее детей. Несчастья преследовали Варвару Ивановну и в Царицыне. Муж заболел холерой. Как ни ухаживала она за ним — спасти его не удалось. С двумя детьми, практически не имея средств к существованию, Варвара Ивановна уехала в Москву, чтобы устроить их судьбу. Ей удалось подыскать работу классной дамы. Сына Ивана Варвара Ивановна определила в гимназию, а дочь Констанцию устроила позднее в консерваторию.
Двух младших дочерей, Агату и Аню, Юлия Яковлевна за несколько лет до кончины отправила жить к своему престарелому отцу в Викторовку. Яков Алексеевич овдовел, и некому было вести его хозяйство. Вдвоем со своим преданным денщиком большую часть времени он проводил дома.
Агата, старшая, вела домашнее хозяйство, отвечала за различные соления и заготовки. Младшая, Аня, умная и образованная девочка, читала деду вслух получаемые им газеты. Яков Алексеевич любил слушать внучку, сидя в мягком кресле и закутавшись в теплый плед. На это занятие уходило много времени, так как дедушка требовал читать честно, все подряд. Как он говорил: «От доски до доски!» У него была большая библиотека со множеством французских романов, которыми увлекалась взрослеющая Анна.
Любил дед баловать внучек. Зная эту его слабость, в усадьбу часто наведывались заезжие «торговцы-венгерцы». Яков Алексеевич покупал своим любимицам все — от духов и пудры до дорогих меховых вещей. Себе же каждый раз брал шелковой материи «на смертный халатик». Чем больше дед старел, тем больше впадал в детство и все чаще говорил о смерти. Он мог часами сидеть возле своего денщика, по древности лет подолгу не слазившего с теплой печки. Изредка он окликал старого слугу: «А что, Павлюк, какая нынче погода?» И тот, не глядя за окно (зима ли, лето), отвечал, глубоко вздохнув и почесав в затылке: «Видать, позёмная поперла!»
Иногда дедушка устраивал смотр своим «смертным» халатам. Случалось, посылал один тяжкому больному или покойнику. Однажды Яков Алексеевич приказал изготовить для него гроб. Делать было нечего — заказали. Когда гроб привезли, он установил его в прихожей и лег в него, чтобы проверить, подходит ли по размеру. Смотром Яков Алексеевич остался доволен, но прежде чем отправить гроб на чердак, приказал, чтобы местный священник его отпел. Ему очень хотелось услышать, какие слова о нем будут говорить после смерти. Но священник возмутился и счел просьбу старого барина богохульством. Дедушка осерчал, долго сидел в своем кабинете и плакал, причитая: «Вот до чего я дожил: и панихиду по мне не хотят петь». На ту пору умер престарелый дворовый по имени Яков. Заказали ему панихиду и устроили торжественное отпевание со свечами и певчими. Чувствительные дворовые бабы и девки плакали в голос. Церемония прошла в благолепии, пристойности и высоком трауре. Старый барин остался доволен. Видимо, душа его уже просилась к Богу. Вскоре он и впрямь скончался, завещав имение двум своим любимицам, Агате и Анне. Анне на ту пору исполнилось восемнадцать лет, Агате — тридцать. За год до смерти дедушки она вышла замуж за жандармского офицера Владимира Павловича Покровского. В мае того года, когда умер дедушка, у Агаты Ивановны родился сын Борис. Сестры решили продать дедово имение и получили по восемь тысяч рублей — по тем временам огромные деньги. Анна вернулась в Слепнево, отложив деньги себе на приданое.