Шляпный магазин Амели был закрыт, а ее родители остались без жилья и средств к существованию, так как после побега Юмберов полиция опечатала дом на авеню Гранд Арме. Отца и мать приютила Берта, работавшая учительницей в женском коллеже в Руане. «Кто бы мог поверить в это? — воскликнула мадам Парейр в порыве отчаяния. — Зарплата за двадцать лет исчезла! И теперь мы на улице. Если бы не жалованье нашей младшей дочери, мы бы просто голодали!» Имя Парейров во Франции было покрыто позором. Оскорбления, унижение, безденежье — справиться с таким грузом не каждому было под силу. От нервного и физического истощения Берта и Амели заболели. Матисс, неожиданно оказавшийся единственным (не считая молодой свояченицы) кормильцем для жены, троих детей и жениных родителей, к осени тоже был на грани нервного срыва.
Впервые в жизни он пытался писать костюмные портреты, которые пользовались спросом у покупателей. Поскольку в моде была испанская тематика, Матисс тоже попробовал наряжать в испанские костюмы свои модели. Но натурщик Бевилаква нелепо выглядел в костюме тореадора и с гитарой в руках, равно как и взгромоздившаяся на высокий кухонный стул Амели, напялившая белые атласные брюки тореро и бренчащая с «нечеловеческим» лицом на гитаре (в конце концов Матисс не выдержал, опрокинул мольберт, Амели отшвырнула гитару, и оба они разразились гомерическим хохотом). В том же году Анри написал целую серию картин с цветами: скромные букеты желтых лютиков и поникших подсолнухов в импровизированных вазах, выдержанные в тускло-коричневых тонах. Резкость, с которой они были исполнены, придала некий модернистский поворот «намекам» на смерть и горе, к которым традиционно прибегали в изображениях «мертвой природы» фламандские «живописцы цветов и плодов». Жан Пюи был потрясен одним из этих «замечательных своим суровым характером» натюрмортов. «Это был портрет большого металлического кофейника с несколькими хризантемами, торчащими из его горлышка. У кофейника, твердо стоящего на трех коротких ножках, был решительный и живой вид, а краски хорошо согласовывались с фоном».
20 декабря 1902 года парижские вечерние газеты сообщили о том, что Юмберов нашли в Мадриде и они в руках правосудия. В тот же день французская полиция явилась в дом Берты Парейр в Руане, чтобы арестовать ее отца, и 21 декабря он был этапирован в Париж. Амели не удалось даже приблизиться к отцу: железнодорожный перрон был забит многолюдной толпой, напоминавшей сборище линчевателей. Армана Парейра препроводили в тюрьму Консьержери на острове Ситэ, где ему было предъявлено обвинение в соучастии в мошенничестве и подделке документов. Единственным из членов семьи, которому удавалось еще сохранять самообладание, оставался Матисс. Мало того, что на его иждивении была большая семья, теперь он еще и занимался всеми делами, связанными с процессом: успокаивал впавшего в истерику тестя (который объявил голодовку, пытаясь доказать свою невиновность), нанимал ему адвокатов. Матисс встречался с газетчиками, грозя особо ретивым судебными преследованиями за публикацию недоказанных судом обвинений, и т. д. На допросах, длившихся в течение всего января, Парейр держался с достоинством. Следователи устроили серию театрализованных очных ставок между Парейрами и Юмберами, содержавшимися под усиленной охраной в той же Консьержери. 20 января 1903 года состоялась первая очная ставка Армана Парейра с его бывшим учеником и многолетним работодателем, алчность и коварство которого привели обоих на скамью подсудимых. Кто-то из двоих, несомненно, лгал, и после «крайне ожесточенной перепалки» Фредерик Юмбер признал себя побежденным. Спустя два дня Парейр встретился с Терезой Юмбер, которую последний раз видел восемь месяцев назад. Когда Тереза попыталась протянуть ему руку, а он с презрением отвернулся, она залилась краской. В последних числах января Арман Парейр был освобожден условно.
К тому времени Матисс был уже совершенно без сил. Журналисты, в подробностях освещавшие заявления горячего южанина Парейра (пресса конечно же мгновенно встала на сторону обиженного), не сумели добиться от его зятя ни слова. Сдержанность и осмотрительность, так свойственные всем северянам, дорого обошлись Матиссу. В феврале он слег. Три врача в один голос заявили, что его состояние опасно (он не спал уже четвертую неделю), и прописали покой и строжайшую диету. В течение двух месяцев ему было запрещено не только работать, но даже писать письма. Кризис застал его в Боэне, и о возвращении в Париж не могло идти и речи. Тем не менее Анри поехал, помог Амели закрыть магазин и вывез семью из квартиры на улице Шатоден. Остаток зимы супруги с детьми провели у Матиссов в Боэне. Трудно было выбрать более неблагоприятный момент, чтобы приехать в свой родной город. Реакция на дело Юмберов на Севере была гораздо более яростной, чем где-либо во Франции, за исключением разве что Тулузы. Местные газеты ежедневно публиковали сенсационные бюллетени: Юмберы задолжали северным промышленникам 25 миллионов франков; северяне не только потеряли больше других вкладчиков, но и превратились во всеобщее посмешище. Жители Боэна, мягко говоря, не слишком доброжелательно отнеслись к возвращению блудного сына, учитывая, что его жена приходилась дочерью правой руке Юмберов. Матисс превратился в пугало, которым соседи стращали своих детей. Еще многие годы в Боэне и Сен-Кантене будут считать своего земляка Анри Матисса трижды неудачником: дело отца продолжить не сумел, юристом не стал, и нормального художника из него не вышло — даже правдоподобный портрет или какую другую правильную картину написать не может. Все называли его «городским сумасшедшим», дурнем Матиссом (le sot Matisse).
Хуже, чем весной 1903 года, Матиссу, наверное, не было никогда. В марте он послал письмо Марке, подробно обрисовав страдания, которые причиняет ему бессонница. Он боялся, что бессонные ночи закончатся тяжелейшим нервным расстройством. Желания писать у него не было — оно просто исчезло. Поддержать и подбодрить его было некому: Амели, единственный человек, кто был на это способен, сама пребывала в подавленном состоянии. Продать ничего не получалось. Даже родной брат и тот не захотел ничего купить (Анри припомнит это Огюсту через сорок лет и скажет, что тот мог бы стать богачом, а не заставлять стоять перед ним чуть ли не на коленях). Чувствуя, что родителям его шумное семейство мешает, Матисс с женой и детьми перебрался в принадлежавший отцу дом на улице Фагард, 24. Дом был высокий и узкий, с покатой крышей. В тесной полутемной мансарде с небольшим окном, выходящим во внутренний двор, и двумя крошечными окошками в крыше Матисс устроил мастерскую. Здесь он написал поникшие пурпурные георгины в винном бокале и «Мастерскую на чердаке», изобразив мольберт с картиной, палитру, лежащую на ящике, и складной бамбуковый столик с теми же увядшими георгинами.