Поддержка генерала Луазона придала новые силы атакующим действиям Делаборда. Орудия полковника Проста заработали в полную силу, их поддержали орудия Фуа.
Но англичане стояли насмерть и не думали отступать. К полудню новая совместная атака Делаборда и Луазона на Вимейро начала выдыхаться. По словам генерала Тьебо,
Генерал Жюно понял, что настало время вводить в бой части своего резерва. Два сводных гренадерских батальона под командованием полковника Сен-Клера попытались развернуться к атаке, но попали под шквальный огонь противника и за 4 минуты потеряли почти 200 чел. или пятую часть своего состава.
Кавалерия Уэлльсли воспользовалась этим и атаковала французских гренадер. Разгром этих двух батальонов был полным. Командир одного из батальонов Паламед де Форбен и несколько десятков его солдат были взяты в плен.
Но немногочисленная британская кавалерия (20-й драгунский полк) слишком увлеклась преследованием отступающих французов, нарвалась на контратаку французских драгун Маргарона и была полностью рассеяна. 260 португальских драгун даже не попытались оказать поддержку англичанам и повернули назад. Командир 20-го драгунского полка подполковник Чарльз Тейлор был убит в этом деле пулей в сердце.
Чтобы усилить натиск, Жюно ввел в бой за Вимейро еще 2 свежих гренадерских батальона полковника Марансена из резерва генерала Келлерманна, шедшего во главе своих солдат. Гренадеры с таким ожесточением кинулись на холмы, занимаемые англичанами, с мужеством и презрением к гибели встречая смертоносные ядра, что некоторое время чаши весов боевого счастья склонялись то в одну, то в другую сторону. Громовые возгласы во славу императора и яростные крики разили противника, казалось, наравне с пулями и штыками.
Шеренги, поливаемые свинцом, редели, снова смыкались мощным строем и шли вперед живой человеческой стеной; потом колебались и чуть не скатывались вниз по склону. За эту отчаянную атаку полковник Марансен через три месяца получит эполеты бригадного генерала.
После ожесточенной схватки на улицах Вимейро французские гренадеры вынуждены были отступить. Батальоны, преследуемые английскими гранатами и ядрами, поломали строй и начали отход, поспешно подбирая раненых.
В этой безумной атаке генерал Шарло, а также артиллерийские полковники Фуа и Прост были ранены (через три месяца Фуа за отличие при Вимейро будет произведен в бригадные генералы). Также был ранен начальник штаба дивизии Луазона штабной полковник Пилле. Адъютант генерала Тавиеля лейтенант Буало отличился в этот момент своим хладнокровием и отвагой. Он собрал несколько лишенных командования орудий в батарею, открыл огонь и тем самым облегчил участь отступающей пехоты.
Английский гренадер Лоуренс впоследствии вспоминал:
Британский историк Ч. Оман об атаке французских гренадер писал:
Боевые действия на Вимейрских холмах были в самом разгаре, когда бригады Бренье и призванного чуть позже поддерживать его Солиньяка вошли в контакт с британскими войсками на их левом фланге в районе Вентозы. Солиньяк наступал слева, а Бренье — справа.