Предложение оплатить очередной щедрый жест императора вызвало недовольство городских властей; их раздражала пенсия, которую они выплачивали художнику с 1515 года, поэтому они все время находили любой удобный предлог, чтобы не заплатить обещанные 200 гульденов. Более того, когда Максимилиан умер, эти богатые буржуа воспользовались случаем, чтобы не платить больше пенсию. Они заявили, что пенсия была учреждена Максимилианом и права на нее исчезли вместе с тем, кто ее назначил.
Дюрер был вынужден вести длительные и мучительные переговоры с магистратом города. Муниципальная администрация старалась ущемить права художников по любому поводу. К ним придирались по пустякам, преследовали за любые незначительные нарушения, упрекали в нонконформизме. Лишение Дюрера императорской пенсии не обрекало его на нищету; он зарабатывал достаточно, чтобы жить комфортабельно и даже купить хороший дом. Его больше возмущала несправедливость, чем отказ в пенсии. И когда магистрат заявил, что права на пенсию должны быть подтверждены новым императором, Дюрер без колебаний решил отправиться в Антверпен, где находился тогда наследник Максимилиана. Он никогда не был в Нидерландах и решил воспользоваться этим поводом для нового путешествия. К тому же в Нюрнберге снова появилась чума, что еще более ускорило его отъезд. Итак, 15 июля 1520 года Дюрер отправляется в путь в сопровождении жены Агнес и служанки Сюзанны, чтобы просить о милости нового императора Карла V.
Перед отъездом в Нидерланды летом 1520 года Дюрер посетил церковь Четырнадцати Святых, которая уже в течение полувека была наиболее известным местом паломничества жителей Франконии. Перед любым начинанием набожный Дюрер всегда просил о помощи силы небесные. Он никогда не отважился бы отправиться в столь ответственное путешествие без предварительного благословения свыше.
Заручившись поддержкой святых покровителей и захватив с собой достаточное количество гравюр, предназначенных для продажи или для подарков, он отправился в путь в сопровождении жены и служанки. Агнес сопровождала его впервые. До сих пор Дюрер никогда не брал жену с собой, возможно, потому, что был не в состоянии оплатить дорожные расходы за двоих, а может быть, и потому, чтобы насладиться свободой от семейной жизни. Трудно оценить характер Агнес, так как ни один из современников, за исключением Пиркгеймера, не интересовался ею, а друг детства Альбрехта, питающий к ней неприязнь, не мог быть достаточно объективным. Рисунок серебряным карандашом 1521 года запечатлел крупную степенную даму, утратившую романтический ореол юной Агнес. Еще более строг ее портрет в блокноте эскизов Альбрехта, где она изображена рядом с молодой служанкой. Соседство этого нежного, юного лица еще более подчеркивает грубоватость лица жены, суровость ее взгляда, жесткий изгиб алчного рта. Глядя на этот портрет, можно считать, что обвинения Пиркгеймера в ее адрес вполне справедливы, можно представить ее ревнивой мегерой, которая, испугавшись чумы, отказалась остаться дома в то время, когда вырвавшийся на свободу супруг будет наслаждаться путешествием.
Кроме того, Агнес Дюрер не собиралась путешествовать инкогнито. Она хотела насладиться своей долей триумфа. Будучи довольно скромной, Агнес зачастую могла обедать на кухне вместе со служанкой, в то время как супруга чествовали знатные горожане или гильдии художников. Но если и ее приглашали на банкет, то она с гордостью сопровождала знаменитого мужа, облачаясь в великолепные наряды, заготовленные для подобных событий. Несмотря на случающиеся ссоры, Дюрер хранил верность жене и с удовлетворением отмечал в дневнике уважение и симпатию, которые ей выражали в городах, где они останавливались.
Из Бамберга путешественники направились во Франкфурт. Епископ Бамберга Георг Шенк фон Лимбург в знак признательности за картину, книгу Апокалипсиса и несколько гравюр окружил их гостеприимством, освободил от уплаты пошлины и снабдил рекомендательными письмами к влиятельным лицам, способным оказать поддержку художнику в его хлопотах. Дюрер довольно щедро дарил свои работы влиятельным особам, что помогало ему устанавливать полезные дружеские отношения, а также способствовало росту его популярности. К своим гравюрам он часто присоединял гравюры других, в частности Шоффелейна, которого очень ценил, и Бальдунга Грина. При этом его не беспокоила возможность конкуренции — щедрый по природе, Дюрер хотел обеспечить известность тем, чей талант любил и ценил.
Во Франкфурте его ожидал давний знакомый и один из первых заказчиков — торговец сукном Якоб Геллер, для которого он написал знаменитый алтарь Успение, а Матиас Грюневальд декорировал створки. Геллер пригласил его на обед, а перед отъездом Дюрера в Майнц прислал ему корзину с бутылками вин, чтобы скрасить его путешествие вниз по Рейну. В Майнце Дюрера ожидали новые приятные встречи. Петер Голдшмидт и Ульрих Варнбюлер устроили ему праздничный прием, одарили подарками, а в дорогу снабдили продуктами и золотистым вином, которое начали производить на берегах Рейна еще со времен Карла Великого.
2 августа, через две недели после отъезда из Нюрнберга, Дюрер прибывает в Антверпен. На следующий день его принимает в мэрии бургомистр. И это уже не просто одна из дружеских встреч, которыми был отмечен его путь, а торжественный официальный прием, где участвовали все члены муниципального магистрата, выражавшие знаменитому художнику свое восхищение его талантом. После торжественного обеда бургомистр ознакомил Дюрера со своим домом, который отличался роскошным внутренним убранством и считался одним из лучших в городе. Художника поразили просторные комнаты, изысканный стиль их украшений и великолепный сад; он отметил в дневнике: «Я никогда не видел ничего подобного в Германии». Бургомистр отличался не только любовью к роскоши, но и щедростью; на собственные средства он построил новую улицу, широкую и светлую, ведущую к его дому. А на следующий день — новый прием, менее формальный, в помещении гильдии художников. Это был настоящий праздник, устроенный для путешественников художниками Антверпена, которые были лишены предрассудков и решили пригласить также не только Агнес, но и служанку Сюзанну на званый обед. Жены художников блистали роскошными нарядами, стол сверкал посудой из серебра, ломился от вин и изысканных блюд. При появлении Дюрера все встали и поклонились, выражая свое огромное уважение гениальному художнику, а затем за столом воцарилась непринужденная атмосфера. Во время десерта появился муниципальный советник Адриан Геребоут в сопровождении двух слуг с четырьмя кувшинами вина от членов Городского Совета Антверпена, желающих выразить свое почтение и дружеское расположение к Дюреру. Затем прибыл мастер Петер, городской плотник, который преподнес художнику два кувшина вина и предложил свои услуги. Веселое застолье продолжалось, и только поздно ночью гости начали расходиться в отличном настроении. Но расстались все только после того, как проводили гостей с музыкой и факелами до гостиницы Иобста Планкфельта, где Дюреры проживут около года. Они чувствовали себя там как дома: Агнес готовила обед, а Сюзанна занималась уборкой. А Альбрехту не давали покоя непрерывные визиты и приглашения.
