Контратака на эту позицию должна была начаться в ночь с 20 на 21 июня (с 3 на 4 июля). 20 июня (3 июля) у противника были отбиты Большой перевал и гора Семафорная, а к исходу дня русские части заняли прежние позиции на восточном берегу бухты Лунвантан, за исключением горы Куинсан. Для непосредственной атаки на Куинсан были назначены сводная конно-охотничья команда 13-го полка и 5 рот 14-го полка численностью до 1300 человек под общим командованием полковника В. Савицкого. Наступление на гору Куинсан предполагалось вести одновременно в трех направлениях: с фронта и с обоих флангов. Соответственно этой диспозиции полковник Савицкий разделил подчиненные ему подразделения на три части. Штурм начался в полночь, но закончился безрезультатно. Между наступавшими колоннами отряда Савицкого не было никакой связи, войска вводились в бой по частям и разновременно.
Утром 21 июня (4 июля) штурм возобновился, но к полудню со всей определенностью выяснилось, что и эта атака не увенчалась успехом. Штурмующие колонны подошли к вершине горы Куинсан на 1000–1200, а местами даже на 400 шагов, охватив ее с севера, запада и юго-запада. Однако каждая попытка русских стрелков приблизиться к редуту на вершине встречалась сильным огнем противника.
Вследствие такого положения генерал Фок решил предварительно обстрелять вершину горы артиллерией, а затем начать третий штурм. Артиллерийская подготовка атаки, в которой участвовало 30 орудий, началась в 13 часов. К 15 часам в бухту Тахэ для поддержки атакующих с правого фланга из Порт-Артура прибыли крейсер «Новик», 3 канонерские лодки и несколько миноносцев и открыли огонь по левому флангу противника.
Однако артобстрел горы Куинсан и ближайших к ней позиций не принес желаемого результата, ибо основные укрепления противника остались неразрушенными и получили лишь незначительные повреждения. Японские стрелки укрылись в блиндажах, и, как только русская артиллерия замолчала, они вновь встретили цепи атакующих прицельным огнем. Все попытки захватить японский редут оказались безуспешными. К 18 часам начался ливень, а вместе с ним прекратились атаки и артиллерийский обстрел японских позиций. Русские войска в боях 20–21 июня (3–4 июля) потеряли убитыми и пленными 15 офицеров и 621 солдата. Потери противника, по различным данным, составили от 300 до 450 человек.
Неудачный исход боев за гору Куинсан объяснялся тем, что командование русских войск на Квантунском полуострове, и прежде всего генералы Стессель и Фок, не поняло важного значения этого опорного пункта в борьбе за подступы к Порт-Артуру и не укрепило его должным образом. Но и после потери горы Куинсан мероприятия по подготовке контратаки проводились медленно, что дало противнику возможность закрепиться.
Контратака, предпринятая в ночь на 21 июня (4 июля), проводилась без четкого плана и предварительной разведки. К тому же в ходе ее нарушилось взаимодействие наступающих колонн. Эти причины, а также несогласованность действий пехоты с артиллерией и силами флота обусловили неудачу последующих контратак, предпринятых утром и днем 21 июня (4 июля).
13(26) июля в 6 часов 30 минут японская артиллерия открыла огонь по всей передовой позиции русских войск и тотчас же под прикрытием артиллерийского огня пехота противника перешла в наступление. Потеснив русские сторожевые посты и направив главный удар против слабо укрепленного Большого перевала, японцы к полудню частично заняли его.
Потеря Большого перевала существенно ослабляла позиции русских войск, ибо противник выходил во фланг оборонительной линии на Зеленых горах и легко мог вынудить русское командование очистить эту позицию. Учитывая это обстоятельство, начальник 7-й Восточно-Сибирской стрелковой дивизии генерал Р.И. Кондратенко отдал распоряжение о проведении контратак. К 19 часам 30 минутам противник был выбит с перевала, однако в 7 часов перевал снова был захвачен японцами.
Одновременно около 15 часов 13(26) июля японские части предприняли попытку овладеть левым флангом Зеленых гор, но все их атаки были отбиты и к 20 часам прекратились. В центре и на левом фланге атаки японцев оказались безуспешными. Им удалось приблизиться к передовым позициям русских войск всего на 500–600 шагов. Но исход боя решался на правом фланге, а боевая обстановка там складывалась не в пользу русского командования.
14(27) июля около 5 часов японская артиллерия вновь открыла массированный огонь, сосредоточив его главным образом против правого фланга русских передовых позиций. Положение там стало очень тяжелым, и в 24 часа Фок отдал распоряжение об оставлении передовых позиций и отступлении на Волчьи горы.
Потери русских войск за время двухдневных боев и отступления на Волчьи горы составили около 1500 человек. Противник потерял убитыми и ранеными до 6 тыс. человек.