В первый год по прибытии Владыки Игнатия на Бабайки посетил его старинный друг М. Чихачов, и это свидание их было последним в жизни. Обоими признано было, что последнему не надо покидать своего места жительства Сергиевой пустыни, в которую он положил все свое состояние и пользовался в ней всеобщим уважением братства и теми удобствами, какие необходимы были для него в болезненной старости. В конце июня 1862 года приехал в Бабаевскую обитель на жительство родной брат Владыки П. А. Брянчанинов, испросив увольнение от службы с должности ставропольского гражданского губернатора, и поселился в монастыре на правах богомольца.
В мае 1862 года епископ Игнатий посетил Преосвященных: Платона в Костроме, Нила в Ярославле и Иринея в Толгском монастыре близ Ярославля; после этой поездки уже никуда не выезжал из монастыря, кроме прогулки в экипаже по окрестностям монастыря в хорошую погоду. В семь часов утра он пил чай, который признавал необходимостью, как средство, согревающее кровь, и говаривал: «Вот что значит старость, не напившись чаю и Богу неспособно помолиться». С 9 часов принимался за дела, или выходил к Литургии, или осматривал производящиеся работы; принимал посетителей, по большей части крестьян больных, пользовавшихся от Владыки медикаментами (гомеопатией). Таких больных стекалось очень много; один из келейников записывал имена их в книгу, лета и род болезни, а Владыка отмечал, какое кому дать лекарство, число приемов и диету, если таковая оказывалась нужной. Лечение шло успешно, но через три года было прекращено по причине многолюдного стечения больных, нарушавших уединение Святителя. В исходе 12-го часа дня Владыка обедал. Стол его был простой, и кушал он очень умеренно. В 3-м часу кушал чай, к которому всегда призывал кого-либо из братии, и завершал угощение душеспасительной беседой. После вечерни, до 8 часов, принимал всех имевших к нему духовную нужду иноков и послушников, а также и посторонних посетителей. С 8 часов вечера Владыка запирался в своих келлиях; он спал обыкновенно не раздеваясь, на ночь надевал валяные сапоги, по причине болезни ног, издавна простуженных. Такова была обстановка келейной жизни Преосвященного Игнатия на Бабайках.
С приездом Преосвященного Игнатия в монастырь стечение народа к богослужениям значительно увеличилось; церковь Святителя Николая, вмещающая не более 600 человек, стала тесна, вся монастырская братия и окрестные жители стали выражать желание построить новый храм вместо пришедшего в опасное состояние соборного храма Иверской Божией Матери, шестипридельного, в четырех приделах которого уже воспрещено было отправлять богослужение, так как образовались большие трещины по всем направлениям каменных сводов. Явился жертвователь — подрядчик каменных работ, ярославский мещанин Федотов, обещавший всю каменную работу исполнить своими рабочими безвозмездно и дать на начальное действие 1000 рублей. Преосвященный вызвал из С.-Петербурга знакомого ему архитектора, профессора Академии художеств И. И. Горностаева, и передал ему свою величественную идею нового храма, которую тот осуществил в своем проекте. Чтобы разобрать разрушавшийся соборный храм, надо было исходатайствовать через обер-прокурора Святейшего Синода Высочайшее разрешение; а также подлежало Высочайшему утверждению и разрешение постройки нового храма. Между тем, монастырю необходимо было спешить разборкою храма, так как рабочие Федотова, в случае неразрешения, готовились отправиться в Петербург на свои заработки, тогда и Федотов вынужден был бы отказаться от обещанного, что составило бы большую потерю для храмоздателей.
В субботу на первой неделе Великого Поста Государь, по приобщении Святых Тайн, благоволил вспомнить, что у обер-прокурора есть нужные к докладу дела и потребовал представить их. Обер-прокурор, директор его канцелярии, начальник отделения, — все, через руки которых шло дело о Бабаевском храме, были в этот день причастниками. Государь принял во внимание пожертвования Федотова и благоволил разрешить разборку старого храма. В тот же день разрешение было передано по телеграфу через Ярославль в Бабаевский монастырь; вся братия монастыря были причастники, но Владыке об этом было доложено на другой день — в воскресенье Недели Православия после Литургии, которую он совершал сам. Таким образом совершилось достойное замечания событие: первый шаг к сооружению нового храма был сделан лицами, которые все без изъятий только что сподобились причаститься Святых Христовых Тайн, видимый признак благословения Божия на начатое дело. С понедельника 2-й недели поста началась разборка старого храма; дело шло быстро, кирпич заготовлялся на заводах, устроенных при монастыре, добывался на месте дикий камень, который пошел в цоколь здания, распланирована была местность, так как новый храм воздвигался немного далее вглубь берега, размеры фундамента обозначены; твердый грунт не требовал свайных укреплений; предположено было с наступлением весны приступить к сооружению здания; ждали утверждения проекта, которое замедлилось. Министр путей сообщения находил, что архитектурные линии в нем слишком смелы, чтобы могли быть благонадежно исполнены; только по личным объяснениям архитектора Горностаева министерство согласилось на утверждение. Таким образом, проект храма в честь чудотворной иконы Иверской Божией Матери был приготовлен к всеподданнейшему докладу, который, в свою очередь, разными случайностями оттянулся до конца мая, и лишь в 21-е число того месяца, день празднования Божией Матери иконы Владимирской, Государь изволил утвердить проект. «Над построением храма Богоматери, — писал Владыка своему брату, очевиден перст Богоматери. Даруется человекам труждающимся в деле помощь; вместе даруется им побороться с препятствиями и поскорбеть для их же душевной пользы, чтобы очистить дело от примеси тщеславия и других увлечений, чтобы оно было совершено в богомудром смиренномудрии. Таков обычный ход дел, покровительствуемых Богом».
Сооружению нового храма доставляли денежные средства расположенные к монастырю граждане гг. Ярославля и Костромы. Преосвященный Ярославский Нил сочувственно отнесся к желанию граждан ежегодно переносить с крестным ходом чудотворную икону Святителя Николая из Бабаевского монастыря в Ярославский кафедральный собор. Костромской Преосвященный Платон выразил свое одобрение, и Святейший Синод, указом от 4 июля 1866 года, уважил и разрешил ходатайство Ярославского архипастыря. С тех пор икона эта носится ежегодно в Ярославль, встречаемая и провожаемая десятками тысяч жителей.
Живя на покое в Бабаевской обители, свободный от служебных обязанностей, Преосвященный Игнатий все свободные часы своего дня отдал пересмотру и пополнению своих аскетических сочинений. Труды по напечатанию их принял на себя поселившийся при нем родной брат его Петр Александрович. Между всеми изданными в это время сочинениями особенно замечательным является «Слово о смерти», в первый раз напечатанное издателем журнала «Домашняя беседа» Аскоченским. Впоследствии составлено было Преосвященным Игнатием особое «Прибавление» к «Слову о смерти»; это «Прибавление» вошло в издание «Аскетических опытов» в конце 2-го тома, а потом, вновь значительно пополненное автором, было издано вместе с «Словом о смерти» отдельной книжкой по кончине его, в 1869 и 1880 годах.
Книгопродавец-издатель И. И. Глазунов, старинный знакомец владыки Игнатия, вошел с ним в соглашение о напечатании всех его сочинений, принимая издержки издания на себя, и тем ввел Преосвященного в усиленное занятие пересмотром, исправлением, пополнением и приведением в одно целое всех статей, писанных им в разное время в сане архимандрита, а потом и епископа. Таким образом составились первые два тома под названием «Аскетические опыты», изданные в 1864 году; последние два: «Аскетическая проповедь» и «Приношение современному монашеству», состоящее в советах наружного поведения и духовного делания, напечатанные в 1867 году, перед самой кончиной Владыки. Пятый том, под заглавием «Отечник», содержащий изречения святых Отцов и повести из жизни их, издан также Глазуновым уже по кончине составителя. В предисловии 1-го тома автор объясняет причины, побудившие его к изданию своих сочинений; именно: он признает себя обязанным дать христианскому обществу отчет в соглядании им земли обетованной, точащей духовные блага, какой является иноческая жизнь, проводимая по учению и преданию Восточной Церкви и созерцаемая в живых представителях ее. В этом предисловии говорится, что разнообразные статьи «Аскетических опытов» были составляемы по поводу возникавших вопросов в обществе иноков и боголюбивых мирян, находившихся в духовном общении с автором. Все они, в целом составе, изображают православный христианский подвиг в его порядке, постепенности; остерегают подвижника от увлечений и заблуждений, от несвоевременного стремления к высоким духовным состояниям; научают полагать прочное основание на делании евангельских заповедей, на покаянии и покаянном плаче.
