Сына Елизаветы Томаса Грэя сделали маркизом Дорсетским, ему было дано место в королевском Совете и некоторый политический вес, в то время как младший сын Елизаветы, сэр Ричард Грэй, мало участвовал в королевских делах и соответственно получил небольшое вознаграждение.
Энтони выполнял главным образом обязанности придворного, находя, однако, время для литературы и изучения философии даже в те времена, когда занимался политической, дипломатической или военной службой. Еще он управлял запутанными делами состоятельных людей. Отстаивал честь Англии на знаменитом рыцарском поединке с защитником Бургундии, и событие это имело как рыцарское, так и политическое значение.
Один из его оруженосцев на этом турнире был из гасконского мелкопоместного дворянства, его звали Луи де Бретейлл — в то время он служил в Англии. Через несколько лет, как известно, Луи принял участие в дипломатической и религиозной деятельности Энтони в Португалии и в Сантьяго-де-Компостела в Испании.
К 1469 году Эдуард стал менее зависим от суждений графа Уорика, и тот начал плести интриги вместе с младшим братом Эдуарда, Джорджем, герцогом Кларенсом, а потом вместе со своим прежним врагом, королевой Маргаритой. В результате последовал ряд предательских восстаний, и, когда Эдуард осознал, что на своих приверженцев нельзя больше положиться, он бежал вместе с Энтони и другими в Брюгге, во Фландрию, бывшую тогда частью владений герцога Бургундского, недавно женившегося на сестре Эдуарда, Маргарите Йоркской.
Отец Елизаветы, граф Риверс, и ее брат Джон были убиты кликой Уорика. Елизавета вместе с дочерьми укрылась в убежище в Вестминстере. Там она родила сына Эдуарда (Неда), которого с рождения титуловали принцем Уэльским.
Вероятно, именно в ссылке Энтони перевел с французского антологию «Наставления и пословицы философов», и почти наверняка в Брюгге он встретился с Кэкстоном, который основал там печатное дело.
В1470 году Эдуард вторгся в Англию, доверив командование лондонским Тауэром Энтони, и в ряде битв победил войска Маргариты Анжуйской. Сын Маргариты и наследник Генриха, Эдуард Ланкастер, погиб в битве, Генрих же умер в Тауэре при загадочных обстоятельствах.
Линия Ланкастеров, основанная узурпатором трона Генрихом IV, казалось, перестала существовать. Единственный представитель ее по мужской линии, Генрих Тюдор, граф Ричмонд, в жилах которого текла королевская кровь — благодаря его матери, Маргарите Бофорт, а не его отцу, Эдмунду Тюдору, — вел жизнь беженца в Уэльсе и Бретани.
Малыш Эдуард, принц Уэльский, был послан в Ладлоу, в один из главных фамильных замков семьи Йорков, чтобы придать тамошнему Совету, правившему зачастую неспокойной Валлийской маркой, королевский авторитет. Энтони был назначен главой Совета и опекуном принца. Даже часто путешествуя по своим и королевским делам, он много времени проводил в Ладлоу.
Его «Наставления и пословицы философов» были первой книгой, которую Кэкстон напечатал в Англии после своей собственной. Энтони и Елизавета стали знаменитыми покровителями печатного дела Кэкстона.
Между тем Елизавета родила еще детей: Маргариту, умершую восьми месяцев от роду, Ричарда (маленького Дикона во второй части романа), который, как второй сын короля, был немедленно титулован герцогом Йоркским, Анну, Джорджа, умершего, когда ему не исполнилось и двух лет, Катерину и Бриджит.
Вторая дочь Елизаветы, Мэри, умерла в 1482 году в возрасте пятнадцати лет.
В 1475 году Эдуард вторгся во Францию, чтобы поддержать традиционные притязания английских монархов на французский трон, и сделал Елизавету душеприказчицей своего завещания и опекуншей принца Уэльского.
Кризис 1478 года, когда герцог Кларенс обвинил в колдовстве Елизавету и ее мать Джакетту, исчерпал терпение Эдуарда, слишком долго сносившего брата-изменника. Джордж был допрошен пэрами и приговорен к смерти.
Тем временем младший брат Эдуарда, Ричард, герцог Глостер, правил от имени короля на севере Англии, как Энтони правил на западе.
В это время было внесено предложение, чтобы Энтони, жена которого умерла в 1473 году, женился на сестре шотландского короля, что должно было стать частью союза с Шотландией. Но вскоре англо-шотландские отношения сделались весьма прохладными, и этот брак так и не был заключен. Позже Энтони женился на Мэри Фиц-Льюис, юной девушке из богатой семьи с большими связями. Но единственный его ребенок, о котором известно, — это Маргарита Стрэдлинг, чья мать, Гвентлиан Стрэдлинг, происходила из семьи валлийского мелкопоместного дворянина.
В 1483 году, на сорок первом году жизни, Эдуард IV скончался. В завещании он назначал Елизавету своим главным душеприказчиком, она также получала место в королевском Совете. Единственный оставшийся в живых брат Эдуарда, герцог Глостер, был назначен протектором до тех пор, пока двенадцатилетний сын Эдуарда не достигнет совершеннолетия.
Все было подготовлено к тому, чтобы Энтони привез Эдуарда из Ладлоу в Лондон для коронации.
30 апреля 1483 года Ричард и герцог Бэкингемский встретились, как и было условлено, в Нортхемптоне. Они арестовали Энтони и сына Елизаветы Ричарда Грэя, отправив их в замок Ричарда в Шерифф-Хаттоне, и захватили контроль над новым королем и его эскортом.
Услышав об этом, Елизавета снова укрылась в убежище в Вестминстере со своими пятью дочерьми и младшим сыном, Ричардом, герцогом Йоркским. Ее старший сын, Томас Грэй, бежал во Францию, в то время как ее брат Эдуард Вудвилл, адмирал флота, некоторое время хранил корабли именем короля Эдуарда, но в конце концов тоже бежал во Францию. Их брат Лайонел Вудвилл, епископ Солсберийский, был в относительной безопасности.
Убежище было окружено войсками, и Елизавета больше не могла принимать участие в делах королевского Совета, который управлял двором совместно с Ричардом Глостером в качестве протектора. Она также не могла устроить коронацию своего сына.
Уступив давлению Совета, Елизавета в мае дала разрешение на то, чтобы юный Ричард присоединился к своему брату Эдуарду в королевских апартаментах Тауэра.
Спустя восемь недель после ареста Энтони переправили в Понтефракт, где 25 июня 1483 года его и Ричарда Грэя казнили, а потом похоронили в общей могиле у соседнего монастыря. Энтони был сорок один год.
Ричарда, герцога Глостера, провозгласили королем на следующий день.
Начиная с этого времени мальчиков — Эдуарда, принца Уэльского, и его брата Ричарда, герцога Йоркского, — видели все реже и реже, а количество их слуг было резко сокращено. Последнее появление мальчиков было зарегистрировано в июле того же года. Вскоре распространились слухи об их смерти, хотя так и не было выяснено, что же с ними случилось: когда они умерли и от чьих рук.