Иногда в Сергее Николаевиче прорывалось какое-то быстрое и порывистое отцовское чувство. «Тогда на его каменном лице появлялась трогательная улыбка, окруженные тонкими морщинами голубые глаза светились любовью к сыну». Но когда торопливая ласка истощалась, вновь весь его облик принимал какое-то строгое, холодное и отдаленное выражение. В повести «Первая любовь», автобиографичной от первой до последней страницы, Тургенев писал: «Странное влияние имел на меня отец — и странные были наши отношения. Он почти не занимался моим воспитанием, но никогда не оскорблял меня; он уважал мою свободу — он даже был, если можно так выразиться, вежлив со мною... Только он не допускал меня до себя. Я любил его, я любовался им, он казался мне образцом мужчины — и, боже мой, как бы я страстно к нему привязался, если б я постоянно не чувствовал его отклоняющей руки! Зато, когда он хотел, он умел почти мгновенно, одним словом, одним движением возбудить во мне неограниченное доверие к себе. Душа моя раскрывалась — я болтал с ним, как с разумным другом, как с снисходительным наставником... Потом он так же внезапно покидал меня — и рука его опять отклоняла меня, ласково и мягко, но отклоняла.
На него находила иногда веселость, и тогда он готов был резвиться и шалить со мной, как мальчик (он любил всякое сильное телесное движение); раз — всего только раз! — он приласкал меня с такою нежностью, что я чуть не заплакал... Но и веселость его и нежность исчезали без следа — и то, что происходило между нами, не давало мне никаких надежд на будущее, точно я все это во сне видел. Бывало, стану я рассматривать его умное, красивое, светлое лицо... сердце мое задрожит, и все существо мое устремится к нему... он словно почувствует, что во мне происходит, мимоходом потреплет меня по щеке — и либо уйдет, либо займется чем-нибудь, либо вдруг весь застынет, как он один умел застывать, и я тотчас же сожмусь и тоже похолодею. Редкие припадки его расположения ко мне никогда не были вызваны моими безмолвными, но понятными мольбами: они приходили всегда неожиданно. Размышляя впоследствии о характере моего отца, я пришел к такому заключению, что ему было не до меня и не до семейной жизни; он любил другое и насладился этим другим вполне. «Сам бери, что можешь, а в руки не давайся; самому себе принадлежать — в этом вся штука жизни», — сказал он мне однажды».
Задумываясь впоследствии над своим детством и юностью, над судьбою матери и отца, Тургенев говорил: «Жизненные условия, в которых мы все воспитались и выросли, сложились особым, небывалым образом, который едва ли повторится». Семейная драма в доме Тургеневых осложнялась драмой общественной, именуемой крепостным правом, которое, по словам М. Е. Салтыкова-Щедрина, «втягивало все сословия в омут унизительного бесправия, всевозможных изворотов лукавства и страха перед перспективою быть ежечасно раздавленным». С детских лет Тургенев почувствовал, что его личные обиды являются отголоском всенародной беды.
Жил в одном из имений матери статный и рослый великан, глухонемой крестьянин Андрей. Заприметила однажды Варвара Петровна во время поездки по далеким имениям его богатырскую фигуру на хлебном поле и приказала управляющему немедленно доставить мужика в барскую усадьбу. Беззащитного, ничего не понимающего Андрея усадили всем миром в телегу и по прихоти госпожи доставили на барский двор. Что было в душе этого пахаря, насильственно оторванного от родной почвы, от привычных крестьянских трудов? До переживаний Андрея Варваре Петровне не было никакого дела. Она и государственных-то чиновников мелкого пошиба за людей не считала. Принимала, например, однажды ванну в специальной комнате, а в Спасское приехал становой, «Немедленно ко мне!» Становой сконфузился, увидев Варвару Петровну через приотворенную дверь. Тогда она на него грозно прикрикнула: «Да ну! Иди, что ли! Что ты для меня? Мужчина, что ли?!» Так обходилась владетельная особа с судебной властью, а уж об Андреях да Герасимах ей и в голову не приходило задумываться. На мужиков она смотрела как на полную свою собственность: что нравится барыне, то должно приносить радость и рабу.
Чего только не делал немой Андрей по барским приказаниям для удовлетворения прихотей капризной госпожи, каких только должностей не исправлял. В Спасском на первых порах он был назначен собственным господским скороходом. Одна из бедных дворянок, воспитанниц Варвары Петровны, вспоминала: «До сих пор живо представляется мне, как по дороге, ведущей к нашему дому, шагает гигант с сумкой на шее, с такой же длинной палкой, как и он сам, в одной руке, а в другой — с запиской от Варвары Петровны». Случилось что-нибудь? Как же! Госпожа соскучилась по своей воспитаннице и пригласила ее к себе в гости, для чего барскому скороходу пришлось проделать путь 60 верст в один конец. Бывали капризы и поизощреннее: в 70 верстах от Спасского жила Авдотья Ивановна Лагривая. К ней Андрея посылали периодически за горшочком гречневой каши: по мнению Варвары Петровны, спасение повара гречневую кашу готовить не умели...
В московском доме на Остоженке немой находился в должности дворника. Об этом периоде его жизни поведал Тургенев читателям в повести «Муму», назвав его Герасимом. Повесть эта во всем достоверна, за исключением концовки: Андрей действительно утопил бедную собачонку, но бросить госпожу и самовольно уйти в родную деревню не решился.
Поступки Варвары Петровны чем далее, тем более становились непредсказуемыми: по малейшему капризу любой крестьянин или дворовый человек мог быть облагодетельствован ею или низведен до ничтожества, все зависело от ее настроения. В произволе и кураже она доходила подчас до какой-то артистической изощренности. Тургенев вспоминал, что его матушка очень боялась холеры (этот страх сын от нее унаследовал). Однажды ей прочитали в газете, что холерная эпидемия распространяется по воздуху через болезнетворных микробов. Тотчас последовал приказ управляющему: «Устрой для меня что-нибудь такое, чтобы я, гуляя, могла видеть все окружающие меня предметы, но не глотала бы зараженного воздуха!» Долго ломали голову, но выход нашли: спасений столяр сделал носилки со стеклянным колпаком в форме киота, в котором носили чудотворные иконы по деревням. Барыня располагалась там в мягких креслах, а слуги носили ее по окрестностям Спасского. Варвара Петровна осталась довольна таким изобретением, столяр получил в награду золотой. Все шло хорошо, пока не произошел курьезный случай. Встретил однажды странную процессию благочестивый странник-мужик, принял носилки за киот, отвесил земной поклон и положил медный грош «на свечку». Последовал взрыв безудержного гнева; привели пред грозные очи госпожи несчастного столяра-изобретателя, всыпали изрядное количество плетей и сослали на поселение.