Однако вернемся к обстоятельствам жизни Фонвизина в 1760-е годы. С 1763 по 1769 год он остается секретарем Елагина и за это время покидает столицу трижды. Кроме упомянутого 29-дневного отпуска в 1765 году, Фонвизин живет у родителей в 1767 (в это время в Москве работает Уложенная комиссия, и молодой секретарь находится при сопровождавшем императрицу Елагине) и 1769 (когда он получает полугодовой отпуск, из которого так не хочет возвращаться в Петербург, и встречает свою самую большую любовь) годах. Живя в Петербурге, Фонвизин регулярно видится с дядей и вместе с прибывшими братьями проводит время в семейном кругу. «На Петровском острову был я в субботу с братьями, — рассказывает почтительный сын „милостивому государю батюшке и милостивой государыне матушке“ в одном из писем лета 1768 года, — нас всех взял с собою дядюшка; он со всею фамилиею туда ездить изволил. Обедали мы у Резвова, катались на шлюпке, качались, играли в фортуну и время свое довольно весело проводили. Каждый день бываю у дядюшки, да и нельзя иначе. Он нас жалует, да близость места не допускает нас долго быть розно. Мы живем почти друг против друга». Службой же у Елагина Фонвизин остается недоволен, а его отношения с патроном продолжают складываться очень и очень не просто. Если летом 1766 года Фонвизин рассказывает родителям о своей любви к «командиру», который наконец-то перестал заблуждаться на счет Лукина, и весьма эмоционально клянется почитать этого «благородного и честного человека» даже в случае, если их пути разойдутся и Фонвизину придется оставить это место, то осенью 1768 года он говорит о твердом намерении уйти в отставку и через несколько лет начать служить снова, но уже под началом не такого «урода», как Елагин. Как же случилось, что за два года достойный почитания «командир» превратился в «урода», почему Фонвизин так эмоционален и на чем основана его неприязнь к вельможе, «имеющему разум, просвещенный знанием», и «доброе сердце»?
Летом 1768 года Кабинет по приему челобитных был передан под начало генерала Степана Федоровича Стрекалова, Фонвизин сдает дела, но по-прежнему находится при Елагине, который становится сенатором и остается «вице-президентом Главной дворцовой канцелярии и при кабинете Ее Величества у собственных дел» и «над спектаклями главным директором». В это время Фонвизин страдает не столько от разлуки с родными, не столько от козней заклятого врага Лукина, сколько от упорного нежелания начальника заняться его делами, добиться производства в чин (в 1768 году он был всего лишь титулярным советником) и повышения жалованья. Работы по службе у Фонвизина немного, но ему приходится ежедневно бывать у ненавистного «командира», и эти визиты становятся для него крайне неприятными и «беспокойными». Сам Елагин, по словам Фонвизина, «держится одною удачею» и поэтому не задумывается ни о чьем благополучии, ни о своем, ни о зависящих от него людей. Фонвизина же Елагин искренне любит, хочет оставить при себе, уверяет его, что отставкой или «переменой места» он непременно себя погубит, но видит в своем секретаре лишь приятного собеседника и сотрапезника. Фонвизин хотел бы служить у другого начальника, но среди них нет никого, кто захотел бы идти на прямой конфликт с властным вельможей («Такая беда моя, — пишет Фонвизин в письме родителям от 11 сентября 1768 года, — что никто прямо от него брать меня не хочет, а на него я никакой надежды не имею»). Попав в столь непростую жизненную ситуацию, не имеющий руководства и покровительства молодой человек «бежит» в отпуск в Москву и «скрывается» в доме родителей.
Кажется, служебная карьера секретаря и переводчика близка к бесславному завершению и выхода из положения не существует. Фонвизин крайне раздражен создавшимся положением, в письмах 1768 года родным ругает Елагина последними словами, а в «балагурных» посланиях 1769 года принципалу выражает надежду, что тот вызывает его в Петербург лишь для того, чтобы «поправить обстоятельства» окончательно обедневшего и отчаявшегося сделать служебную карьеру сотрудника. Правда, еще в позапрошлом веке было высказано предположение, что письмами Елагину Фонвизин, твердо решивший покинуть равнодушного начальника, пытался потянуть время и дождаться перемены своей судьбы.
В 1768 году старший брат и любящий сын заботится о прибывших в Петербург Александре и Петре Фонвизиных и продолжает хлопотать о делах отца: посещает его шефа — начальника Ревизион-коллегии Романа Илларионовича Воронцова (получившего прозвище «Роман — большой карман»), передает ему неизвестное нам, но чрезвычайно важное для Ивана Андреевича письмо и сообщает родителям о доброжелательности сенатора. Правда, отец знаменитой княгини Екатерины Романовны Дашковой («Екатерины Малой», в девичестве — Екатерины Воронцовой) вызывает у раздраженного Фонвизина презрение, не меньшее, чем Елагин: будучи в фаворе, вельможи мало считаются с интересами зависящих от них подчиненных, оказавшись же в опале, становятся приветливыми и любезными. Видеть, как «идут дела», омерзительно и для честного человека невыносимо: хорошо ли, когда публика проливает слезы над страданиями сценического персонажа и при этом равнодушна к настоящим бедам живого человека? («К пользе человеческого рода каждую неделю дают здесь по трагической или комической штуке. Льются слезы о несчастий театрального героя, а бедный Чур., который несчастлив не на шутку, забыт, да и помнить о нем не велят. Вот как в свете дела идут», — рассказывает возмущенный Фонвизин родителям в одном из писем 1768 года.) Единственная альтернатива этому аду — «любезная неволя» в Москве, в кругу родных и близких людей; лишь там он может обрести вожделенный покой и счастье. О своем желании воссоединиться со своими любимыми домочадцами Фонвизин говорит практически во всех своих письмах сестре и родителям, за встречу с ними готов отдать «семь десяток жизни», но такого раздражения против петербургской жизни, как в 1768 году, он не испытывал никогда.
В письмах Фонвизина из Петербурга, в каком бы состоянии ни находились его дела, постоянно встречаются слова «скука», «огорчение», «утешение», «разлука», «вина». В столице ему плохо настолько, что он ощущает себя узником, за неведомое преступление лишенным душевного равновесия и наказанным разлукой с любимыми людьми. Свобода ему безразлична не потому, что пагубна для молодого человека, а потому что не согревает душу и не дает счастливого покоя; сестра уверена, что в Петербурге ему живется весело, а он скучает и рвется «к своим». Даже рассказывая в 1766 году о головокружительных успехах на службе у Елагина, о «падении» (как выяснилось, несостоявшемся) Лукина и своем «возвышении», он обязательно отметит, что вдали от милых родных его счастье не может быть полным, и обязательно вставит пассаж о своей скучной жизни (пусть виной тому всего лишь петергофский ветер и отсутствие возможности выйти на улицу). В следующем десятилетии повзрослевший Фонвизин будет продолжать жаловаться на придворную скуку и поразительную для честного человека несправедливость, но так тосковать по Москве уже не станет.