Вскоре и центральное правительство Японии выступило против присутствия наших на Цусиме. Оно дало указание губернатору Хакодате Мурагаки Авадзи вступить в переговоры с русским консулом Гошкевичем о «принятии надлежащих мер с тем, чтобы немедленно удалить русский военный корабль из Цусимы». Параллельно правительство обратилось за посредничеством к английскому посланнику Алкоку, который в середине августа 1861 года отправил на Цусиму своего секретаря Олифанта с отрядом из двух кораблей под командованием вице-адмирала Хоупа. Последний незамедлительно послал письма на имя Лихачева, где требовал удаления русского корабля. Лихачев, находившийся во Владивостоке, получил письма от Гошкевича. Делать нечего. Надо было отзывать Бирилева. С таким приказом Лихачев отправил на Цусиму клипер «Опричник», о чем проинформировал в письме Гошкевича.
Из письма графа Игнатьева:
«Японцы согласились на все требования флигель-адъютанта Бирилева. Строения были возведены в бухте Имосаки, материалы и рабочие из туземцев (т. е. японцев. –
7 сентября после теплого прощания с жителями острова Бирилев покинул Цусиму. Вспоминая об этом, он впоследствии писал: «Множество шлюпок с чиновниками выехало на середину залива ожидать прохода корвета, и, когда корабль поравнялся с ними, они махали и кричали русское «ура». На острове остались различные постройки, склады и леса. Князь Цусимы через своих поверенных и позднее губернатор Хакодате от лица японского правительства обязались сохранить все в целости впредь до востребования русскими.
Некоторое время у острова оставался «Опричник», к которому пришел клипер «Абрек», но в конце сентября оба клипера были вынуждены окончательно покинуть Цусимские острова.
Всегда боявшийся обострений с Англией, Горчаков предписал консулу Гошкевичу разъяснить правительству-бакуфу, что военно-морская станция на Цусиме была основана Лихачевым и Бирилевым самовольно, без санкции русского правительства. Японское правительство выразило удовлетворение этим объяснением, и на этом инцидент был исчерпан. Впоследствии вице-адмирал Лихачев писал: «Одного только мы, может быть, достигли: не дали Англии захватить этот остров». Однако теперь, когда министр иностранных дел официально отказался от российских офицеров, их действия можно было считать пиратскими! Ни Лихачев, ни Бирилев не знали, как поступит теперь с ними Петербург. Заступится ли за них великий князь Константин, как отнесется к происшедшему император?
Наши уже покинули Цусиму, а англичане все никак не могли успокоиться. Из Лондона переслали весьма резкую ноту в Петербург. Дело принимало скандал мирового уровня. Отношения с Англией в очередной раз обострились до предела. Под нажимом англичан с протестом выступило и правительство Японии.
– Как можно снова провоцировать войну с Англией, когда мы еще не очухались от предыдущей! – топал ногами министр иностранных дел Горчаков. – Я не успеваю тушить пожары, то Черняев со штурмом Ташкента, то Лихачев с его Цусимой. Когда же угомонятся наши генералы и адмиралы! Надо срочно что-то предпринимать.