Организацией переговоров в Токио занимался Гошкевич. 8 августа 1859 г. уполномоченные императора Эндо Тадзима-ноками и Сакаи Укёноскэ посетили графа на борту фрегата, а на 10 августа был назначен съезд на берег. Он был обставлен очень торжественно. При переходе Муравьева-Амурского с фрегата «Аскольд» на «Америку», которая могла поближе подойти к берегу, раздался салют, и все матросы были посланы на реи. Чуть позже по бухте засновали шлюпки, заполненные офицерами в парадной одежде. У самой пристани графа встречали японские чиновники, а также сборный батальон, составленный из экипажей всей эскадры. Вид трехсот лихих матросов, гардемаринов и юнкеров, блестящие мундиры и знамена должны были произвести впечатление на японский народ. К сожалению, людей на берегу не было, так как полицейские запретили горожанам появляться там во время церемонии. Так что красочным представлением наслаждались сами участники. В храме гостей ждал торжественный обед, составленный из блюд японской кухни.
Русские моряки с удовольствием воспользовались возможностью осмотреть незнакомый город, в который не ступала нога иностранца. На их взгляд, народ на улицах почти ничем не отличался от жителей Хакодате или Нагасаки. Простой люд ходил почти раздетым, не блистали богатством и одежды лавочников. Кто выделялся среди толпы, так это чиновники, которые выглядели поважнее, чем в других городах, которые посещали русские. Да и свиты у знатных людей были значительно многочисленнее. Лавки были побогаче канагавских, но не везде соглашались продать товар иностранцам.
Русских моряков очаровали красота и утонченность японских женщин, хотя они и недоумевали по поводу некоторых японских обычаев. «Что касается женщин, то мы, разумеется, других случаев, как видеть их на улице, в лавках или гостиницах, не имели; а в этих местах, с прибавкой и храмов, показываются только женщины низшего класса, да и то сравнительно с мужчинами не в большом количестве. Между ними часто попадаются довольно хорошенькие, но, увы, то же злодейское обыкновение, что и в Хакодате, покрывать белилами и другими разноцветными мастиками лицо и шею невольно напомнит поблекшую, но все-таки играющую первые роли актрису провинциального театра».
В свою очередь японские жители тоже во все глаза глядели на чужеземцев. В Японии тогда существовало немало противников открытия страны, особенно среди чиновничества, поэтому прогулки нередко были сопряжены если не с опасностью для жизни, то во всяком случае с некоторыми неудобствами. Смех и крики зевак постоянно сопровождали русских во время их экскурсий по городу. Порой гостей встречали и камнями: кто-то маленькими, а кто-то и более увесистыми. Увы, узкие японские улицы не позволяли избежать неприятных встреч. Иногда в конце прогулки русские напоминали зайцев, которых гнали собаками.
Русским особенно понравились японские парки. «А сады, в особенности террасы, очень хороши. На одной из них мы пили чай; она обсажена деревьями, покрыта легкой крышей, или по-нашему маркизой, и разделена на несколько отделений, отгороженных друг от друга тоненькими жердочками; в каждом из этих отделений особенная семья торговцев чая. По любви к простору, так свойственному русской натуре, мы разлеглись во всех отделениях и совершенно запутали чиновников, все еще пытавшихся предлагать нам угощение за счет правительства. Вид с террасы на громадный город, раскинутый у наших ног, очень хорош: по крайней мере, успокаивает глаз однообразием: вы видите крыши и деревья, деревья и крыши, и только там, вдали, синее море и на нем как бы в тумане залитые ярким светом солнца джонки и наша грозная эскадра».
Тем временем Муравьев-Амурский вел напряженные переговоры о разграничении России и Японии. Он сообщил японцам, что российские власти хотят восстановить пост в заливе Анива, снятый в 1854 г. Николай Николаевич предложил провести границу по проливу Лаперуза, а японские рыбалки оставить в их владении. Японцы же предлагали провести границу по 50-й широте. 23 августа состоялся последний разговор, который закончился ничем. Одной из причин того, что японское правительство настороженно отнеслось к инициативе Муравьева, была близость дальневосточных рубежей России.
Во время российско-японских переговоров, вечером 14 августа 1859 г., произошло трагическое событие, которое показывает, насколько непросто складывались отношения между двумя странами. Несколько членов экипажа корвета «Гридень» были посланы на баркасе в Канагаву для закупки продуктов. Успешно окончив все дела, они хотели в тот же вечер вернуться на судно, но случилось непредвиденное.
«Мофет, — писал командир русской эскадры капитан 1-го ранга А. А. Попов, — шел из лавок в сопровождении матроса Ивана Соколова, который нес за ним ящик с деньгами, а мещанин Александр Корольков шел несколько впереди их. Вдруг на одном из перекрестков на них напали несколько японцев, вооруженных саблями. В темноте и при неожиданности нападения борьба была невозможна, тем более что никто из наших не имел при себе оружия; через минуту матрос упал мертвым, а мичман Мофет плавал в крови своей, получив несколько глубоких и смертельных ран. Корольков же, предупрежденный г. Мофетом, который закричал ему: «Александр, нас бьют!» кинулся в одну из лавок, в то время уже запиравшуюся на ночь хозяином, и был спасен от смерти последним, но получил сильную рану в левую руку с перерубом кости; другим ударом у него перерублена фуражка у самого виска».
Нападавшие скрылись, прихватив ящик с деньгами. На крики быстро собралась толпа. Проходившие мимо два американских матроса сообщили о происшествии своему командиру, жившему неподалеку. Несмотря на помощь японского врача, Мофет скончался через два часа. Японские власти немедленно выразили глубокое сожаление и попросили прощения за кровавый инцидент. Муравьев-Амурский мог воспользоваться мощью своей эскадры, но он последовал совету Гошкевича и других своих спутников не вмешиваться. Ему предстояло срочно вернуться на Дальний Восток, и он поручил провести расследование А. А. Попову, выставив условие сменить губернаторов, а преступников, если они будут найдены, подвергнуть казни на месте преступления.
Похороны русских моряков прошли весьма торжественно, с участием японских священнослужителей. Журнал «Морской сборник» отмечал: «Желая почтить память своего товарища и по возможности выразить свое полное сочувствие к несчастной судьбе его, гг. офицеры и гардемарины всей эскадры сделали подписку и поручили одному из консулов поставить памятник на могиле Р. С. Мофета и матроса Соколова, похороненных в присутствии гг. офицеров и команд с двух наших судов, немедленно присланных из Иедо». Так в Йокогаме появился православный крест. Русская могила стала первой на Иностранном кладбище.
24 августа 1859 г. Муравьев-Амурский пересел на пароходо-корвет «Америка» и ушел в Хакодате. Капитану 1-го ранга Унковскому на фрегате «Аскольд» было поручено оставаться на рейде Токио до 15 сентября и проконтролировать ход расследования. На борт фрегата сразу прибыли высшие сановники и в присутствии всего экипажа попросили извинения за трагический случай, сообщив, что губернаторы Иокогамы Мицио-Тсикокгоно-Ками и Като-Икино-Ками лишились должности.
Крайний срок поимки преступников Унковский назначил на 12 сентября. Начиная расследование, Попов в сопровождении японского чиновника, присланного из Токио, отправился на корвете «Новик» в Канагаву. Осмотрев место преступления, Попов предложил губернатору закрыть все лавки, но тот ответил, что не имеет права этого делать без приказа из Токио да и не хочет лишать народ последних средств к существованию. На просьбу отобрать у японцев оружие он также не согласился, так как наличие меча является для самурая обязательным и является его отличительной особенностью. Все, что мог сделать губернатор, это дать согласие на ношение оружия русскими во время их съезда на берег.
Несмотря на энергичные розыски, установить личности убийц не удалось. Японские власти предложили казнить полицейского чиновника, который дежурил в это время в Йокогаме, но Унковский, конечно же, отверг эту идею. Задерживаться в Японии дольше русские корабли уже не могли. Перед тем как 17 (29) сентября 1859 г. сняться на фрегате «Аскольд» в Кронштадт, Унковский обязал правительство Японии найти преступников и казнить их.
Этот трагический случай вызвал много противоречивых откликов. Английский консул обвинил во всем губернатора, не сумевшего организовать быстрое расследование, но американский консул, напротив, считал, что губернатор сделал все возможное, чтобы обнаружить преступников. Иностранная пресса обвинила во всем японские радикальные крути, заинтересованные в нагнетании политической обстановки.
17 ноября 1859 г. газета «Таймс» писала: «Вчера один пьяный японский офицер размахивал шпагою (с толстой рукояткой и лезвием наподобие бритвы), заявляя, что он желал бы срубить голову русскому. И что же сделали? Он был очевидно опасен, и его оттащили в сторону на почтительное расстояние длинным шестом с крюком и обезоружили, но только для того, чтобы он отправился домой». Еще одно свидетельство того, что отношение к иностранцам в Японии было далеко не всегда дружественным.