Лорд Фитцрой отвёз беременную жену в Брюссель и 18 июня уже находился в штабе герцога Веллингтона в Ватерлоо, куда они вместе выехали из Брюсселя утром 16 июня. В течение следующих трёх дней он вновь выполнял обязанности главного адъютанта герцога. На исходе третьего дня шальная пуля раздробила ему локоть правой руки. Он сам пришёл в здание, где размещался полевой госпиталь, и обратился к дежурному хирургу. Хирург попросил его лечь на стол и ампутировал руку выше локтя. Лорд Фитцрой не издал ни единого стона. Лежащий в той же маленькой комнате раненый герцог Орангский не подозревал, что его соседу делали операцию, до тех пор, пока тот не обратился к хирургу со словами: «Эй, принесите-ка мою руку назад. Там на пальце кольцо, которое надела мне жена».
На следующий день Веллингтон написал герцогу Бьюфорту:
«Мне очень жаль, но я вынужден сообщить, что Ваш брат Фитцрой тяжело ранен и потерял правую руку. Я только что навестил его. Он чувствует себя настолько хорошо, насколько это возможно в данных обстоятельствах. Признаков заражения нет. Вы знаете, насколько он всегда был мне необходим и как мне теперь будет не хватать его помощи, а также с каким искренним уважением я всегда к нему относился. Поверьте мне, я очень за него волнуюсь… Надеюсь, что скоро он снова сможет присоединиться ко мне».
Лорд Фитцрой не заставил себя долго ждать. Как только выздоровел, он вновь вернулся в Париж к своим обязанностям секретаря посольства. Герцог Веллингтон теперь командовал оккупационными силами. Фитцрой сопровождал герцога в командировках в Вену и Верону. В 1818 году, когда оккупационные войска были выведены из Парижа и лорд Веллингтон получил назначение в Лондоне на должность командующего артиллерией, Фитцрой продолжал службу в качестве помощника своего знаменитого начальника. В 1827 году умер герцог Йоркский, и лорд Веллингтон получил его должность главнокомандующего вооружёнными силами страны. Фитцрой и тогда не оставил своего патрона.
В тридцать девять лет он был уже генерал-майором, кавалером ордена Бани, австрийского ордена Марии-Терезии, русского ордена Святого Георгия, баварского ордена Максимилиана-Иосифа, португальского ордена Башни и Меча. Он был адъютантом короля Георга IV, почётным гражданином города Глочестера, членом парламента. По поручению правительства выполнял важную дипломатическую миссию в Мадриде и вскоре вместе с герцогом Веллингтоном собирался отправиться в поездку в Санкт-Петербург. Он снискал себе огромную любовь и уважение. Сопровождая Веллингтона в Оксфорд, где тот получил звание канцлера, Фитцрой, в свою очередь, получил почётную учёную степень. Вспоминая об этом событии, его брат писал, что
Личная жизнь тоже складывалась вполне удачно и счастливо. Он обожал жену и четверых детей[2]. Он не был богат для аристократа, но мог позволить себе тратить от трёх до четырёх тысяч фунтов стерлингов в год. И ему нравилось тратить деньги. У него был прекрасный дом и много друзей по всей стране. Вместе с братом, унаследовавшим титул герцога Бьюфорта, Фитцрой любил гостить в Бадминтоне, с герцогом Ричмондом и Гордоном часто посещал Гудвуд, вместе с Веллингтоном отправлялся в Стратфилд, где специально для него всегда были зарезервированы комнаты. Молодой генерал увлекался стрельбой и охотой, любил хорошую еду, общество красивых женщин и прочие удовольствия жизни. Как и многие другие члены высшего общества, он очень мало думал о том, как изменить жизнь за пределами этого общества. Наука и техника, которые всё больше изменяли окружающий мир, значили для него очень мало. Также равнодушно Фитцрой относился к живописи, музыке и книгам. Во всей своей огромной переписке он всего лишь один раз сослался на пример из книги. Этим произведением был «Граф Монте-Кристо».