Хотя сила артиллерийского огня Наполеона усилила его давление на линию Веллингтона, расстановка его пушек была не очень эффективна; они причиняли противнику значительный ущерб, и бомбардировка была почти невыносима, но недостаточно разрушительна. В Угумоне французы все еще понапрасну тратили силы в небольшой стычке у Ла-Э-Сент, где во фруктовом саду оставалась бригада Кио. Можно было ожидать, что в бой там вступит гвардейская пехота при поддержке кавалерии. Однако вместо этого поступил приказ о мощной атаке силами одной лишь кавалерии. Обычно кавалерия не использовалась без поддержки пехоты против оборонительной линии в полном боевом построении. Причина, по которой это произошло тогда, навсегда осталась загадкой.
Согласно Шаррасу, когда Веллингтон отодвинул назад свою передовую пехоту под прикрытие обратной стороны склона, Наполеон ошибочно подумал, что его противник отступает. Впечатление общего отступления было усилено бегством многочисленных дезертиров, испуганных канонадой, и видимым перемещением пленных и повозок с ранеными в направлении Брюсселя. Со стороны французских позиций поле битвы просматривалось довольно плохо, все было застлано дымом, и Наполеон приказал кавалерии наступать, намереваясь превратить начинающееся отступление в бегство.
Кавалерийская атака провалилась, и в своих заметках, написанных на острове Святой Елены, Наполеон снимает с себя за это всякую ответственность. В первом описании данных событий, продиктованном барону Гурго, он возлагает всю вину на Нея, в то время как во втором описании он вообще не упоминает Нея и обвиняет во всем Мийо. Его сторонники обвиняют Нея в том, что он дал приказ об атаке вопреки воле и намерениям Наполеона, а Уссей утверждает, что именно маршал, а не Наполеон, ошибся, поверив в отступление Веллингтона.
На самом деле с трудом верится, что Наполеон или Ней могли подумать, будто Веллингтон отступает. Что могло в тот момент заставить Веллингтона отступить? Он успешно отразил все атаки французов, ему спешила на помощь прусская армия. Остается предположить, что либо Наполеон приказал кавалерии атаковать, полагая, что она прорвется сквозь позиции англичан, либо Ней, получив общее указание пробиться сквозь линию обороны противника, погнал вперед кавалерию, поскольку других войск со свежими силами для атаки у него не было.
Атаковать было решено кирасирами Мийо и легкой кавалерией гвардии Лефевр-Денуэтта, команда атаковать поступала подчиненным маршала Нея. Генерал Делор, командующий одной из дивизий Мило, протестовал, но Ней сообщил ему, что это приказ императора. Это заставляет предположить, что Наполеон сам отдал приказ о кавалерийской атаке; но даже если Ней имел в виду только то, что Наполеон предоставил ему возможность использовать подразделение Мийо, очевидно, что Наполеон, как главнокомандующий, мог остановить эту акцию. Согласно бонапартистской исторической традиции, Наполеон не знал о том, что происходит, поскольку в это время был вынужден покинуть свой пост, чтобы руководить сражением с пруссаками на правом фланге. Но кавалерийская атака началась вскоре после четырех часов, а в это время фон Хиллер и фон Лостхин успели доехать лишь до Парижского леса, Наполеон же находился в Бель-Альянсе.
На другом конце поля с интересом наблюдали за приготовлениями к кавалерийской атаке. Шоу-Кеннеди пишет:
«Никто на англо-союзнической линии и представить себе не мог, каким будет следующий шаг, т. е. с чего начнется третий акт драмы, и то, как это произошло, было совершенно неожиданно… Около 4 часов пушечная пальба усилилась до невероятности… Стало понятно, что она является прелюдией к очень серьезной атаке. К нашему удивлению, это оказалась широкомасштабная атака кавалерии. Такую атаку мы с большой вероятностью могли ожидать где-нибудь в течение дня; но мы и подумать не могли, что она будет предпринята против наших боевых позиций, которые к тому же ранее не были поколеблены предшествующей атакой пехоты».
Кавалерия в количестве 5000 человек вернулась вниз в долину, где была перестроена Неем, который лично ее возглавил. Под звуки горнов они двинулись в атаку, британцы смотрели на них с восхищением. Шоу-Кеннеди пишет: