Тем не менее, овладев хребтом Хейзел Гроув, южане получили важное преимущество. С его вершины Чанселорсвиллское плато и столпившиеся на нем войска были видны как на ладони. Лучшую позицию для артиллерии было трудно себе представить, и Стюарт, очень довольный достигнутыми успехами, по достоинству оценил подарок, сделанный ему Хукером. Громко напевая на мотив популярной песенки собственные слова: «Старый Джо Хукер, убирайся из Глуши», он велел втащить на гребень Хейзел Гроув 30 орудий и открыть огонь.
Таким образом, вся линия высот к западу от Чанселорсвилла почти без боя перешла в руки конфедератов, и теперь им оставалось сделать последний бросок, чтобы оказаться в самом сердце и Глуши, и федеральных позиций. И они не стали тратить времени попусту: их артиллерия открыла убийственный огонь по новым позициям врага, а затем вперед бросилась пехота.
В центре и на левом фланге южане поначалу не встретили особых затруднений. Стремительной атакой они ворвались в засеки и даже смогли закрепиться в них на короткое время. Атака бригад Мак-Гауэна и Лейна не была столь удачной. Сперва они попали под анфиладный огонь справа, заставивший их остановиться. Сиклс, воспользовавшийся этой заминкой, бросил им во фланг бригаду Уорда, и конфедераты были оттеснены на исходные позиции.
Отбросив врага, атаковавшего их южнее дороги, северяне сконцентрировали усилия на тех, что рвались в засеки на севере. Стоявшим здесь федеральным частям пришлось несладко. Генерал Хейс был убит в ожесточенной схватке, а его бригада уже была готова обратиться в бегство. Но тут им на помощь со своей 2-й бригадой пришел от дома Чанселора генерал Френч. Удар, который он нанес на левом фланге конфедератов, вынудил их торопливо податься назад, и вся дивизия Хита отступила на первоначальные рубежи в некотором беспорядке и замешательстве. Однако у Стюарта еще оставалась свежая вторая линия, и он немедленно двинул ее в дело. К северу от дороги бригады Николса и Иверсона неожиданно вышли во фланг перешедшему в наступление Френчу и открыли по нему бешеный огонь. Несколько залпов привели эту бригаду северян в совершенное расстройство, и в свою очередь она поспешно ретировалась к линии засек.
Южнее дороги в бой вступили бригада Пакстона, объединившаяся с потрепанными частями Лейна и Мак-Гауэна, и бригада О'Нила, примкнувшего к Пендеру и Брокенброу. Однако первый дружный натиск этих бригад был отражен. Отступив, они перегруппировались, снова двинулись вперед и на этот раз добились успеха. О'Нилу, Пендеру и Брокенброу удалось ворваться в засеки и выгнать оттуда федералов. Но тут южанам снова не повезло. Шальная пуля ранила генерала О'Нила, яростного ирландца, возглавлявшего эту атаку. Лишившись командира, его бригада развалилась на две части, каждая из которых продолжала наступать самостоятельно.
Первая из них выша на правую оконечность линии Берри, находившуюся между Чанселорсвиллом и просекой Баллока, а вторая часть во главе с полковником Холлом повернула направо, перешла дорогу и начала взбираться по склонам холма Фейрвью, на вершине которого располагался левый фланг Берри. Эта федеральная дивизия стала чувствовать себя крайне неуютно под двойным натиском врага, а артиллерия конфедератов, открывшая огонь картечью с фронта, сделала положение северян еще менее комфортным. Но дивизию Берри спасла бригада Уорда. Сиклс, заметивший, что его правый фланг вот-вот рухнет, вовремя отправил ее к просеке Баллока, и после ожесточенной винтовочной дуэли наступавшая здесь часть бригады О'Нила была отброшена. Затем северяне переключились на полковника Холла, которому со своими людьми удалось ворваться в укрепления на вершине холма Фейрвью и после короткой рукопашной схватки овладеть ими.
Но тут северяне сконцентрировали на алабамцах Холла кинжальный винтовочный и артиллерийской огонь, а затем бросили в контратаку Нью-Джерсийскую бригаду Мотта. Даже после этого Холл не пожелал отступить, и его люди встретили бригаду Мотта штыками. Некоторое время им удавалось сдерживать натиск северян, но тех было слишком много, и, оставив на вершине холма Фейрвью добрую половину своих людей, Холл приказал отступить.
Стюарт, впрочем, не был обескуражен этими двумя неудачами. У него еще оставалась часть 3-й линии, не участвовавшая в деле, и он немедленно двинул ее на помощь остаткам двух первых. Бригада Колквита отправилась на левый фланг, где Френч, во второй раз перешедший в контратаку, сильно теснил бригаду Николса. Колквит, пройдя сквозь интервалы этой поредевшей части конфедератов, приказал своим людям открыть огонь, который в очередной раз поверг людей Френча в шок. Потеряв охоту контратаковать, они повернули и отошли на свои прежние позиции.
В то же время правофланговые бригады Ремсьюра и Долса из третьей линии южан вышли на исходные позиции для атаки.