Не существует твердых доказательств связи Сайго с кланом Кикути, но сам Сайго искренне верил в эту генеалогию. Во время своей ссылки на Амамиосима он начал использовать псевдоним Кикути Гэнго, недвусмысленно связывая себя с лоялистами четырнадцатого века. Друзья поддержали его выбор, начав надписывать свои письма к нему «великому правителю Кикути» (Кикути тайкун). Сайго не раз открыто связывал свою активность, направленную на поддержку императора, с защитой Годайго его сторонниками пятью веками ранее. Для человека, отправленного в ссылку собственным господином, мысль о родстве с Кикути была особенно утешительной. И Такэтоки, и Такэмицу совершали ошибки в своей жизни, но в конечном итоге они были признаны защитниками чести и справедливости. За счет родства с кланом Кикути Сайго мог несколько приуменьшить горечь от политического поражения и связать себя с полулегендарными героями. Родство с Кикути также усиливало приверженность Сайго императору и недоверие к сёгунату. Происхождение от Кикути превращало борьбу ц высокомерием сёгуната в дело семейной чести.
О родителях Сайго нам известно очень немного. Его отец, Сайго Китибэи (1807–1852), служил начальником налогового отдела в управлении финансов княжества. Он имел ранг косогуми, который был восьмым в иерархии из десяти самурайских рангов. Обладатели двух низших рангов — ерики и асигару — обычно исполняли только второстепенные обязанности, такие, как несение караульной службы, так что Китибэи по своему рангу был «белым воротничком» среди городских самураев. Как глава отдела, он занимал самую высокую должность, на которую ему можно было рассчитывать по своему статусу. Он имел репутацию честного, трудолюбивого и бескорыстного чиновника. О матери Сайго, Маса (?—1852), нам известно еще меньше. Ее отцом был местный самурай Сибара Кэнэмон. Впоследствии Сайго с теплотой отзывался о ней, как о терпеливой и заботливой женщине.
Сайго родился 7/12/1827, став первым ребенком у своих родителей. Согласно обычаю той эпохи, Сайго в течение жизни несколько раз изменял полученное при рождении имя. В феодальной Японии имена были не столько абсолютными идентификаторами личности, сколько показателями возраста и общественного статуса. Самурай изменял свое имя по мере взросления. Малыш, мальчик, женатый мужчина и удалившийся на покой глава семьи — каждый имел свой круг обязанностей, и поэтому смена имени была вполне естественным шагом. В первые годы своей жизни Сайго был известен как Сайго Кокити и Сайго Дзюроку, но в семилетием возрасте он получил имя Китиносукэ. Став взрослым, он взял имя Такамори. 10/2/1853, после смерти отца, он заполнил официальные бумаги, чтобы изменить свое имя на Дзэнбэй, а 8/10/1858 он взял имя Сансукэ, но в личной переписке продолжал использовать имена Китиносукэ, Такамори и Дзэнбэй. Сайго также был широко известен по своему поэтическому псевдониму Сайго Нансю, или Сайго с Юга, который он взял, находясь в ссылке. Как и все его современники, Сайго мог использовать несколько имен одновременно: официальное имя для работы, неофициальное в кругу друзей — и несколько псевдонимов, чтобы подписывать ими свои стихи.
В своей семье Сайго был старшим из семерых детей — четверых сыновей и троих дочерей. Самый поздний из детей, Кохэй (1847–1877), был младше Сайго почти на двадцать лет. В одном доме с Сайго жили родители Китибэи, Сайго Рюдзаэмон (?—1852) вместе с женой (1775–1862), а также семья его младшего брата, так что максимальное количество домочадцев составляло шестнадцать человек. Доход Китибэи, как чиновника налогового управления, никогда не удовлетворял полностью его потребности на содержание семьи. Семейный дом в Ситанокадзия находился в плачевном состоянии и постоянно нуждался в ремонте. Поскольку не хватало спальных мест на всех членов семьи, Сайго спал со своими братьями под одним одеялом. Это было особенно неудобно из-за того, что все дети были крупными: когда мужчины Сайго вырастали, их рост обычно достигал шести футов (180 см). В 1855 году семья переехала на другой берег реки, в Уэносоно, но их новый дом оказался таким же ветхим. Невестка Сайго, Иваяма Току, вспоминала, что «дом в Уэносоно находился в очень плохом состоянии. Пол в нем прогнулся, как утиное гнездо».
Чтобы хоть как-то сводить концы с концами, семья Сайго брала часто взаймы и занималась сельским хозяйством. Так, например, в 1847 и 1848 годах Сайго Такамори и его отец одолжили в общей сложности 200 золотых рё у семейства Итагаки, которые были богатыми землевладельцами в округе Мидзухики, ныне представляющем собой часть города Кагосима. Это была огромная сумма, равная многолетнему доходу самураев или ремесленников. Семья Сайго не имела никакого дополнительного обеспечения, кроме своего имени, и ей не удавалось делать регулярные взносы в счет погашения долга. Только в 1872 году, когда Сайго получил пост государственного советника (ранги) в правительстве Мдйдзи, семья начала постепенно возвращать долг.
На одолженные деньги семья купила землю для возделывания. Дошедшие до нас записи достаточно скудные, но мы знаем, что семья владела по меньшей мере одним участком в Ниси бэппу, теперь расположенным в пределах городской черты Кагосима. Согласно налоговой ведомости, земля возделывалась владельцем, которым значился Сайго Китибэи. Иваяма Току вспоминала, что младший брат Сайго, Китидзиро, собирал в Ниси бэппу хворост, привозил его на спине вьючной лошади обратно в самурайский квартал и подавал от двери до двери. Неясно, приходилось ли когда-нибудь самому Та-камори стоять на рисовом чеке с мотыгой в руке, но как старший сын и наследник он был очень хорошо знаком с финансовой стороной семейного земледелия.
Даже с этим дополнительным доходом семья Сайго жила очень скромно. Женщинам самим приходилось заниматься стиркой и уборкой, и Иваяма позднее вспоминала, как однажды человек, заглянувший к ним в дом, по ошибке принял ее за служанку. Эти стесненные обстоятельства сформировали личность и философию юного Такамори. Его отец, Китибэи, формально считался полным самураем (см или дзокаси), и теоретически получаемого им жалованья должно было хватать на содержание семьи. Но на практике семья Сайго жила скорее как госи — экономически самостоятельные «сельские воины». Госи были потомками выходцев из самых низов воинского сословия, высланных в сельскую местность, где они контролировали крестьян. Как городской самурай, Сайго имел значительно более высокий статус, чем госи. Пропасть между истинным, городским самураем и госи была настолько велика, что любой самурай, которому показалось, будто бы госи каким-то образом задел его честь, имел законное право зарубить наглеца на месте. Поскольку самурай защищал свою честь, это не считалось оскорблением, и ему оставалось только убедить свое начальство в серьезности оскорбления. И вот, хотя юный Такамори, как полный самурай, являлся членом этой элиты, экономически он был значительно ближе к госи. Сайго приходилось постоянно сталкиваться с несоответствием между своим номинальным и реальным статусом.
Этот разрыв между формальным положением и повседневной жизнью наделил Такамори скромностью и глубоким чувством чести. Сайго не имел возможности наслаждаться привилегиями своего элитного статуса, но он мог облагородить свою бедность, перрнося ее со стоицизмом и достоинством. В 1872 году, когда Сайго, наконец, заплатил часть своего двадцатипятилетнего долга Итагаки, он принес самые глубокие извинения за свою затянувшуюся неплатежеспособность:
«Я прибыл только вчера, вместе со свитой его величества, так что надеюсь, вас не обидит некоторая поспешность моих строк. Много лет назад мой покойный отец взял у вас взаймы. После его кончины я и мои братья, испытывая большие трудности, ни разу не нанесли вам визит и оставили свой долг без изменений. Здесь я просто не нахожу слов… В прошлом году я переехал в столицу, где мне была поручена важная работа в правительстве, занявшая все мое время. Это высокое назначение, которого я недостоин, стало возможным для меня только благодаря тому, что мой отец одолжил у вас крупную сумму денег, которая позволила ему вырастить и поставить на ноги своих многочисленных детей. Мой отец постоянно напоминал мне об этом. Все это время я искренне желал расплатиться с вами, но просто не сумел найти способа вернуть свой долг; более того, я заплатил вам проценты лишь за один год, за что приношу свои самые глубокие извинения. Я надеялся, что мое нынешнее возвращение в родные края позволит мне, наконец, развеять последние тревоги моего покойного отца, но поскольку наша безземельная семья имеет большое количество иждивенцев, оказалось, что выплатить все проценты и основную часть долга за один раз нам не по силам. Я прошу вас с пониманием отнестись к нашим затруднениям и проявить снисходительность в этом вопросе».
