Вернувшись домой, он обнаружил, что его дочь — маленькая Пелагея — в имении бабушки несчастна. Варвара Петровна обращалась с ней очень грубо и жестоко, так, если бы та была обычной крепостной.
«Дайте мне совет — все, что исходит от Вас, исполнено доброты и такой искренности <…> Итак, не правда ли, я могу рассчитывать на добрый совет, которому слепо последую, говорю Вам заранее».
Тургенев также писал Полине Виардо о своих страхах: «Моя собственная 8-летняя дочь говорит: «Я никому не верю и никого не люблю, потому что меня никто не любит». Знаменитая певица сразу же ответила: «Присылайте ее ко мне, она будет моей дочерью». Понимая всю двусмысленность и трудность будущего положения в России своей незаконнорожденной дочери, писатель с радостью согласился. Иван Сергеевич увез девочку во Францию, где она воспитывалась с детьми Виардо. В 1850 году в восьмилетием возрасте Пелагея Тургенева, которую отныне отец называет Полинет, в честь Виардо, навсегда покинула Россию. После смерти матери братья Тургеневы разделили огромное наследство: Ивану Сергеевичу досталось Спасское имение.
В семье Виардо ее обучение велось на французском языке. И когда после долгих лет разлуки Тургенев приехал во Францию, то свою дочь он уже увидел четырнадцатилетней барышней, практически полностью забывшей русский язык. «Моя дочка очень меня радует. По-русски забыла совершенно — и я этому рад. Ей не для чего помнить язык страны, в которую она никогда не возвратится».
Иван Сергеевич принимал большое участие в воспитании Пелагеи. Его письма показывают, с какой нежной любовью, вниманием, заботливостью он относился к Полинет, мягко, но серьезно давал советы и наставления. И. С. Тургенев советовал дочери «упорно работать и размышлять», «быть послушной». Порой указывал на серьезные недостатки: «Ты обидчива, тщеславна, упряма и скрытна. Ты не любишь, чтобы тебе говорили правду… Ты ревнива… Ты недоверчива…».
Указывая на отрицательные черты в характере дочери, отец все же при этом подчеркивал: «.. если даже мои упреки в какой-то степени преувеличены, ты должна не обижаться на них, но видеть в них лишь новое доказательство моей любви к тебе. Прими то, что есть полезного в моих советах, а что до остального, то знай, что нет никого на свете, кто бы любил тебя больше, чем я».
Тургенев часто указывал дочери на ошибки в орфографии. По мнению писателя: «Настаивать так на орфографии кажется мелочью, но помимо того, что мы совершенно вправе судить о чьем-нибудь образовании по тому, как он пишет, мы можем справедливо предполагать, что, если внимания недостает в мелочах, его должно еще более недоставать в больших делах».
Тургенев познакомил дочь со многими русскими друзьями. Некоторые из них потом в течение долгих лет поддерживали с ней дружеские отношения, оказывали помощь, принимали активное участие в ее судьбе. В их числе О. А. Сомова (Тургенева), семья Трубецких, графиня Е. Е. Ламберт, семья Н. И. Тургенева, П. В. Анненков.
Под влиянием русских друзей отца Полина пожелала брать уроки Закона Божьего. Иван Сергеевич поддерживал стремление дочери: «…я не только «не отнял Бога у нее», но я сам с ней хожу в церковь. Я бы себе не позволил такое посягательство на ее свободу, и если я не христианин — это мое личное дело, пожалуй, мое личное несчастье. Полинька, напротив, очень религиозна».
Несмотря на большую любовь, Тургенев в то же время не скрывал от себя и от друзей недостатков Полины, отсутствия у них с дочерью общих интересов. Графине Е. Е. Ламберт он писал: «Я довольно много видел мою дочь в последнее время — и узнал ее. При большом сходстве со мною она — натура совершенно различная от меня: художественного начала в ней и следа нет; она очень положительна, одарена здравым смыслом: она будет хорошая жена, добрая мать семейства, превосходная хозяйка — романтическое, мечтательное все ей чуждо: у ней много прозорливости и безмолвной наблюдательности, она будет женщина с правилами и религиозная… Она, вероятно, будет счастлива… Она меня любит страстно».
Огорчали Тургенева сложные отношения дочери с Полиной Виардо. Вначале все было как будто бы благополучно. Виардо была довольна своей воспитанницей. Но вскоре Тургенев понял, что все не так просто, как казалось. Полина не прижилась в чужой семье, ощущала свое сиротство, ревновала отца к Виардо. Он пытался повлиять на дочь, доказывал ее неправоту, неблагодарность по отношению к Виардо. Замечания делал то в мягкой, а то и в более резкой форме: «Ты будешь рада вновь ее (П. Виардо) увидеть, не правда ли? Я хочу дать тебе поручение, которое тебе будет приятно: …поцелуй ей покрепче обе руки за меня». В этих строчках, скорее всего, звучит собственное желание Тургенева. Писателю очень хотелось, чтобы его дочь испытывала подобные чувства. Но дочь не разделяла мнения отца. Свое отрицательное отношение к Виардо Полина не только не могла, но и не хотела скрывать. Порой это выражалось в самых незначительных, мелких вещах.
В одном из писем Тургенев откровенно выговаривал дочери за то, что она жаловалась ему на Виардо, что та не любит ее и даже испытывает к ней отвращение, потому что однажды не пригласила на прогулку: «Я нашел в твоем письме признаки недостатка, для искоренения которого ты должна приложить все усилия; я говорю тебе о твоей чрезвычайной обидчивости, которая может сделать тебя раздражительной и даже неблагодарной. Эта манера себя умалять, унижать — тоже не что иное, как самолюбие. Предполагать, что другие люди злы, — это значит признаваться, что сам не чувствуешь себя добрым». Несмотря на поучительные речи отца, неприязнь Полины к французской певице возрастала с каждым днем, и даже годы разлуки, которые Полина провела в пансионе, не смягчили их отношений…
После выхода Полины из пансиона Тургенев поселился на отдельной квартире вместе с ней и гувернанткой — англичанкой госпожой Иннис. Для Полины началась новая, более счастливая пора ее жизни — рядом был горячо любимый отец. Вскоре она познакомилась с преуспевающим молодым человеком — Гастоном Брюэром. Иван Сергеевич был доволен выбором Полины, будущий зять произвел на писателя самое благоприятное впечатление. 13 (25) февраля 1865 года состоялась свадьба, которая потребовала от Тургенева больших затрат. В качестве приданого Иван Сергеевич выделил дочери 150 000 франков.
Первое время семейная жизнь Полины складывалась вполне благополучно. Ее омрачали лишь неровные отношения со свекровью, женщиной властной. В 1872 году в семье Брюэр появился долгожданный ребенок — дочь Жанна, а в 1875 году — сын Жорж Альбер. Тургенев был рад рождению внуков, но вместе с тем прибавилось и забот. В это время семья дочери переживала серьезные материальные затруднения: стекольная фабрика мужа находилась на грани банкротства. Гастон Брюэр не прилагал должного усилия, чтобы поправить материальное положение, а денежная помощь писателя не могла спасти семью от разорения.