Казалось бы, Хабаров добился многого. Но тем не менее он снова стал объектом преследования со стороны воеводской администрации. Едва Ерофей Павлович вернулся из Москвы, как в Якутск к воеводе Михаилу Ладыженскому из Сибирского приказа пришла грамота с требованием взять его из Киренского острога и отвезти на Тугирский волок для поиска спрятанного там в свое время пороха и свинца. Найденную казну нужно было срочно переправить с Тугирского волока по рекам Урке, Амуру и Шилке в Нерчинск к воеводе Пашкову. Для сопровождения Хабарова от Киренска до Тугирского волока назначался якутский сын боярский Федор Пущин с 30 казаками. В наказной памяти, данной Пущину Ладыженским, указывалось, что при обнаружении казны можно было отпустить Хабарова в Киренский острог, в противном же случае — препроводить его под надзором в Якутск для дачи объяснений.
Так Хабаров еще раз повторил путь до Тугирского волока, лишь немного не добравшись до Амура. Но поездка оказалась безрезультатной. На волоке он не нашел ни государевой казны, ни своего имущества — сошников, кос и серпов. Этого следовало ожидать. Порох и свинец, со слов Зиновьева, весили около 80 пудов (1280 кг). Спрятать незаметно этот груз одному человеку было невозможно. Хабаров должен был обратиться к помощи тех, с кем шел с Амура.' Значит, о месте нахождения государевой казны знал не он один. Кроме того, через Тугирский волок ежегодно проходило на Амур и обратно много людей, и кто-то из них мог случайно наткнуться на склад боеприпасов. Но всю ответственность за сохранность казны возложили на Хабарова. И сын боярский Федор Пущин повез его под охраной с Тугирского волока в Якутск к разрядному воеводе.
На обратном пути имел место любопытный случай. Где-то на Олекме, а может быть и раньше, к отряду пристал Федька Серебряник, который был рудознатцем, служил в войске Хабарова, а теперь ходил из Илимска на Тугирский волок и верховья Амура как покрученник Хабарова. Федька был старателем и вез в мешке несколько образцов руды. Сначала они попали в руки к Хабарову, и тот признал, что руда, пожалуй, серебряная. О находке узнал Федор Пущин. Она его очень взволновала, потому что он был знатоком серебряных руд и, начиная с 1655 г., якутские воеводы именно ему поручали искать серебро на Амуре. Пущин тотчас же послал вперед своего отряда казака к якутскому воеводе и просил его приказа привезти Федьку в Якутск с тем, чтобы перехватить у илимского воеводы приоритет открытия в верховьях Амура серебряной руды. Чем окончилась тогда эта история с серебром и Федькой, нам пока не известно, но что касается Ерофея Павловича, то его под охраной доставили в Якутск. Здесь Хабарову пришлось долго объяснять воеводе, что во время своей поездки в Москву он никак не мог воспользоваться казной на Тугирском волоке и что ею поживился не он, а 'кто-то другой.
Тогда воевода потребовал от Хабарова уплаты 4850 руб. 2 алтын денег, которыми оценивалось снаряжение экспедиции, взятое землепроходцем из казны в 1649 и 1650 гг. Хабарову платить было нечем. И воевода отписал у него в казну чечуйскую мельницу, стоимость которой составила 330 руб. Таким образом, долг снизился до 4550 руб. Кроме того, по указанию якутской администрации, на олекминской заставе была перехвачена ватага покрученников Хабарова. Добытых ею 2 сорока 28 соболей воевода в счет долга грозил забрать в казну. Перед Ерофеем Павловичем нависла угроза правежа, конфискации деревни Хабаровки и полного разорения.
С большим трудом землепроходец уговорил якутского воеводу предоставить ему возможность выплатить долг частями. Сошлись на том, что отныне Ерофей Павлович будет ежегодно посылать в Якутск в счет долга по 1000 пудов хлеба из своего хозяйства, а якутский воевода — беспрепятственно пропускать покрученников Хабарова на олекминский промысел и не посягать на добытых ими соболей. Но в обеспечение договора воевода потребовал от Хабарова поручительства надежных людей, которые бы согласились нести за него материальную ответственность. Таких людей Ерофей Павлович обещал найти в Илимске и упросил воеводу отпустить его туда. Воевода согласился, однако вместе с землепроходцем отправил в Илимск пристава, а также Федора Пущина с казаками. Последним был отдан строгий приказ в случае невыполнения Хабаровым обещания привезти его снова в Якутск, но уже как арестанта.
Ерофей Хабаров слово сдержал. В Якутск Федор Пущин вернулся с добрыми поручными записями о Хабарове и тяжело нагруженными хабаровским хлебом дощаниками.
Кто из родных и близких окружал в те годы Хабарова? Известно, что он был женат еще до поездки в Мангазею. Жена его, Василиса, с остальными родственниками жила то в Соли Вычегодской, то в Устюге Великом. В 1643–1644 гг., находясь в якутской тюрьме, Ерофей Павлович просил было отпустить его в Соль Вычегодскую к семье. В челобитной он перечислял жену Василису, дочь Наталью, племянника и племянницу, находившихся на его попечении. Ответ с разрешением главы Сибирского приказа Никиты Ивановича Одоевского пришел в Якутск в 1645 г. Но тогда Хабаров не поехал.
В 1650 г., вернувшись с Амура в Якутск за подкреплением, он написал челобитную с просьбой^ отпустить к нему из Устюга Великого жену Василису, дочь Натйлью, внука и племянников. Это было время, когда Францбеков благоволил Хабарову, и землепроходец надеялся на его содействие в устройстве своей семьи либо в Якутске, либо на Киренге.
Челобитную Хабарову, заверенную воеводой Францбековым и дьяком Степановым, подал в Москве 27 января 1651 г. ленский (якутский) пятидесятник Иван Кожин. Тогда же из отписки Францбекова в Сибирском приказе стало известно о походе Хабарова и занятии им нескольких даурских городков. Не без учета этого факта Москва удовлетворила просьбу землепроходца. На обороте его челобитной появилась помета (резолюция), сделанная одним из подьячих Сибирского приказа: «Приказал боярин и князь Алексей Никитич Трубецкой послать память в Устюжскую Четь (приказ, ведавший Устюгом Великим. — Г. Л.), велел жену и сына (почему-то подьячий назвал дочь сыном), племянников и внука к нему отпустить и подводы до Сибири дать». Вероятно, пятидесятник Иван Кожин привез семью Хабарова в Якутск, захватив ее на обратном пути из Устюга Великого. В 1652 г. на Амуре, кроме уже находившихся там Никифора Хабарова и Артемия Петрило веко го, появились еще два «сродника» Ерофея Павловича.
Жена Ерофея Павловича, Василиса, умерла до 1667 г. — именно в этом году он наказывал старцам Усть-Киренского монастыря ее поминать. Старшая дочь Наталья в Сибирь приехала уже будучи замужем и имея детей. Один из сыновей Ерофея Хабарова, Андрей, после смерти отца числился илимским посадским человеком. В 1690 г. он за службу отца был поверстан в дети боярские по Илимску. В этом чине он служил до 1694 г., когда был вновь возвращен в посад. Но судьба Андрея прослеживается и дальше. Нам удалось восстановить, что, переехав в Якутск, он поступил в казачью службу. В 1706 г. он числился рядовым казаком с окладом 5 руб. 25 коп. денег, 4 четверти ржи, 2 четверти овса, 1 пуд соли в год. В якутском же гарнизоне продолжал службу ещн Андрея, внук Ерофея Павловича Хабарова, Михаил Хабаров. В росписном списке Якутска 1759 г. он упоминался как сотник якутских казаков. Но у Ерофея Павловича был еще сын — Максим. Его имя встречается в 1706 г. в обнаруженной В. Н. Шерстобоевым поручной записи: «1706-го году майя в 22 день Криволучкой слободы пашенный крестьянин Василий Яковлев сын Кулебакин да Нижно-Киренской слободы пашенный крестьянин Максим Ярофеев сын Хабаров да Верхно-Киренской слободы пашенный крестьянин Фирс Иванов сын Мос-квитин поручились есми в Усть-Киренскую в судную избу по Нижно-Киренских пашенных крестьян по Флоре Иванове сыне Москвитине да по Игнатье Максимове сыне Киселеве, что за нашею порукою им, Флору и Игнатью, на Балаханском лугу пахать великого государя десятинную пашню…» Таким образом, второй сын Ерофея Павловича Хабарова был в начале XVIII в. пашенным крестьянином Нижне-Киренской слободы, расположенной недалеко от деревни Хабаровки.