Довре решил, будто сильные французские колонны, стоявшие перед д. Острый Конец, угрожали русскому левому флангу обходом. Для удержания их он послал Казачковского и полковника Дибича с Тенгинским и Эстляндским пехотными полками и батарейной № 14 ротой, которые составил левое крыло русской боевой линии. Казачковский развернул Ямбургский драгунский полк, который своими демонстрациями весьма удачно маскировал батарейную роту до тех пор, пока командовавший ею штабс-капитан К.Э. Нольде 1-й, приблизившись к неприятелю, не открыл огонь. Удачное действие его орудий заставило неприятеля отступить за реку с заметными потерями. Отступая, французы зажгли д. Острый Конец и уничтожили мост.
После этого «Казачковский получил приказ выделить два эскадрона, два батальона и четыре батарейные орудия к правому флангу, который атаковал мызу Свольню, пред которой неприятель упорно оборонялся, переводя свежие войска по мосту, который находился позади». Генерал выслал туда два батальона Тенгинского и Эстляндского полков, 2-й сводно-гренадерский батальон 5-й дивизии и орудия батарейной № 14 роты под начальством Дибича. Тот продвинулся возле зарослей между двумя селениями. «Журнал 1-го корпуса» гласит: «Четыре пушки, составлявшие часть этого отряда, обстреляли косоприцельным огнём колонны поддержки, размещённые возле моста. Три батальона центра и правого фланга повели огонь с удвоенной силой, противник отступил к мызе. Там он был атакован во фланг двумя батальонами, пришедшими слева, которые находились под командой полковника Лялина. Майор Тарбеев выдвинулся в то же время с фронта с 1-й гренадерской ротой Пермского полка. Французы оставили Свольню, предав её огню, и поспешно бросились к мосту. Хвост их колонны, отрезанный полковником Лялиным, был взят в плен». Русские при этом «взяли 200 чел. в плен и большую часть остальных потопили в реке».
Далее в «Журнале» записано, что «артиллерия нашего правого крыла приблизилась к реке, повернула свой огонь против колонн, находившихся у моста, и вынудила их занять более удалённую позицию. Стрелки Пермского, Могилевского полков и 3-го батальона Эстляндского полка, желая использовать это отступательное движение, перешли по мосту, не дожидаясь приказа. Несколько эскадронов кирасирской дивизии Думерка, размещённые недалеко от берега, бросились на них, отбросили их в беспорядке к мосту и перешли его в свою очередь. Эти кирасиры продолжили свою атаку на правом берегу». Дружинин пишет, что солдаты 14-й дивизии, «ревнуя загладить неудачное действие на Сивошином перевозе», бросились на местечко и «штыками очистили, захватив много пленных, кинулись потом по мосту за речку Свольну и, далеко отделившись от оной, подали случай неприятелю послать свою тяжелую кавалерию отрезать от речки наших».
По словам Удино, «один эскадрон кирасир провёл мощную атаку на лёгкую кавалерию и пехоту, которая на мгновение отважилась перейти на эту сторону реки; он их отбросил немного дальше, чем я хотел, потому что, отогнав всё, что ему встретилось, он перешёл мост, ударил на деревню и разбил наголову всё, что там находилось. После этого момента русские более не отважились показать даже одного стрелка». Но не всё было так радужно, как пишет маршал.
В этот момент майор Тарбеев, испросив у Довре разрешения, «взять охотников для подкрепления наших стрелков», вызвал желающих для исполнения этого трудного предприятия. Первым вышел Дружинин, а за ним — вся 1-я гренадерская рота. Тарбеев быстро повёл охотников-гренадер к мосту при Свольне и прибыл туда в тот самый момент, когда французские кирасиры, преследуя русских стрелков, промчались вслед за ними через мост и, миновав мызу, понеслись в атаку на русские войска. Охотники, незамеченные кирасирами, сделали «засаду в строении, уцелевшем от пламени, а более за частоколом, окружавшем находившийся там сад». На выручку русской пехоте подоспел Ридигер с 2 эскадронами Гродненских гусар; он внезапно бросился на французских кирасир, «опрокинув их в миг, переколов и потопив большую часть в реке, остальные же с поспешностию ретировались к высотам». Когда кирасиры, отступая, мчались обратно мимо Свольны, охотники Пермского полка встретили их выстрелами из своих укрытий, так что «немногие по мосту и вброд переправились обратно».