Линч просил министров подтвердить его решение об увольнении Морганов, намекая, что в противном случае «станется беда, коли я умру». Он снова подчеркнул, что сэр Генри и его друзья «чинят страшные насилия и лишены чувств; они разъярены на людей, а люди — на них. Я бы должен был быть добрым в отношении Чарлза Моргана по многим причинам и, в частности, в связи с рекомендациями господина секретаря, но он настолько надменен, вспыльчив и неравнодушен к выпивке, что нет возможности ни служить ему, ни использовать его. Он был зачинщиком всех беспорядков в Пойнте, из-за которых я был вынужден лишить его должности заместителя коменданта. Он едва не убил нескольких сержантов, подравшись с ними, хотя им не было выплачено жалованье; одна женщина поклялась, что он убил ее мужа; офицеры в Пойнте могут поклясться, что ни один сержант или солдат не желает идти в крепость из-за страха перед ним и что многие дезертировали; клянутся, что он никогда не приходил в крепость до двенадцати или часа ночи, а затем пил или так буянил, что нещадно бил сержантов и солдат без всякой вины с их стороны; он и его сообщники были зачинщиками драки в Пойнте и едва не убили Пенхоллоу, за что теперь они приведены к послушанию и в Верховный суд. Мартин, генеральный сборщик податей, жаловался мне на днях, что [Чарлз] Морган пришел в его кабинет за деньгами и попытался ударить его без всякой причины, просто из буйства. Ничто так не свидетельствует о его злорадстве по отношению ко мне, как то, что он нарядился в новое платье светлых тонов, узнав о смерти моей жены, тогда как все остальные были в черном. А ведь она была его родственницей и оказала ему услугу… В прежних письмах я сообщил вам о необходимости лишить сэра Генри Моргана всяческих надежд на управление [Ямайкой]».
Морган начал слать в Лондон гневные протесты, но они не были услышаны. Уволенный со службы, он запил и уехал на время из Порт-Ройяла в свое имение Лоренсфилд. Оно лежало на полпути между Пэссидж-Фортом и Спаниш-Тауном, и отсюда легко и быстро можно было попасть как в столицу острова, так и в Порт-Ройял.
В январе 1684 года сторонники губернатора Линча предприняли еще одно наступление на Моргана и его друзей. 11 (21) января в Порт-Ройяле были взяты свидетельские показания у Генри Арчболда по поводу «крамольных речей» его друга, но тот отрицал, что сэр Генри Морган когда-либо посылал проклятия в адрес ассамблеи, и отверг все «доказательства» майора Сэмюэла Бейча. В тот же день адвокат Роджер Эллетсон показал под присягой, что не участвовал в беспорядках в Порт-Ройяле, имевших место в октябре 1683 года, и отверг утверждения о том, будто их инициатором был вице-губернатор.
28 февраля (9 марта) сэр Томас Линч составил новый отчет о ситуации на острове. В нем он сообщил министрам торговли и плантаций о «бегстве» Чарлза Моргана, который едва не погубил своих собутыльников и не устроил новые беспорядки в Порт-Ройяле, поскольку в ночь перед выходом в море на борту судна «Фалкон» он и его друзья «задирали стражу и оскорбляли офицеров». За день или два до этого Чарлз вместе с сэром Генри «и их партией» тайно подписали аттестат Джону Лонгворту, пастору Порт- Ройяла, — «больному человеку, который выпивал с ними, нарушая свои обязанности и оскорбляя свой приход». Линч и его сторонники также установили, что накануне отплытия Чарлз Морган составил «вредоносный и раскольничий» документ, подписанный его друзьями. «Сэр Генри был готов поклясться, что он не подписывал его, — сообщает Линч, — но мы подозреваем, что Чарлз Морган и сэр Фрэнсис Уотсон подписали его от имени остальных». Губернатор выразил уверенность, что король и лорды министерства не придадут значения пасквилю, который передаст им смутьян Чарлз, и будут всецело доверять официальной информации, исходящей от губернатора, ассамблеи и Совета Ямайки.
29 февраля (10 марта) в Лондоне состоялось заседание министерства торговли и плантаций. На нем было зачитано письмо сэра Томаса Линча от 2 (12) ноября 1683 года, в котором он сообщал о приостановке членства сэра Генри Моргана и полковника Биндлосса в Совете Ямайки и об увольнении полковника Чарлза Моргана. «Мы рекомендуем действия сэра Томаса Линча утвердить», — сказано в постановлении.
Тем временем Чарлз Морган прибыл в Лондон, где имел встречу с некоторыми членами правительства. Он узнал о письмах Линча, в которых губернатор поливал грязью сэра Генри Моргана и его друзей. Племянник сэра Генри без промедления подал петицию на имя короля. 2 (12) мая в Хэмптон-Корте король Карл подписал распоряжение, обязав правительство рассмотреть жалобу сэра Генри Моргана, Роберта Биндлосса, Роджера Эллетсона и Чарлза Моргана относительно действий губернатора Ямайки, отстранившего их от занимаемых должностей, и принять решение поданному вопросу.
18 (28) июня министры торговли и плантаций еще раз обсудили конфликт, возникший между Линчем и его оппонентами, и договорились не изменять своего прежнего решения по данному делу. Спустя неделю об этом было доложено его величеству.
Между тем физические недуги окончательно подорвали здоровье губернатора Ямайки. Он умер 24 августа (3 сентября) того же года и был похоронен в кафедральной церкви Спаниш-Тауна. Надпись на его надгробии гласит: «Здесь покоится сэр Томас Линч в мире, покое и блаженстве. Кто хочет знать больше, люди расскажут остальное».
Незадолго да кончины сэр Томас успел оставить поручение на пост исполняющего обязанности губернатора Хендеру Моулзвёрту — ярому противнику флибустьеров и их покровителей. Этим были развеяны надежды Моргана еще раз получить пост главы ямайской администрации.
После отставки Морган уехал в Лланримни — свое имение на северной стороне острова, в приходе Сент-Мэри, близ тихой гавани Порт-Мария. Его соседями здесь были полковник Томас Баллард, капитан Питер Хейвуд и капитан Эндрю Лэнгли. Все они являлись «джентльменами весьма веселого нрава», ставшими пионерами освоения северного побережья Ямайки. Поскольку в эти места частенько наведывались пираты и маруны — беглые негры-рабы, обитавшие в соседних горах, — дома в имениях строили из камня, с толстыми стенами и решетками на окнах. На случай осады в них хранили большой запас провизии, а также холодного и огнестрельного оружия, пороха и боеприпасов. Вооруженными до зубов ходили не только хозяева, но и слуги.
В период опалы сэру Генри пришлось немало потрудиться, чтобы оградить себя от нападок политических противников, регулярно писавших на него жалобы двору и подававших против него иски в суды различных инстанций. А в 1685 году имя Моргана появилось на страницах английских газет в связи с громким судебным процессом, на котором он через своего адвоката потребовал возмещения морального ущерба за клевету от двух издателей книги Эксквемелина.