Известие о высадке британцев доставили генералу Страйкеру утром 12 сентября, и он выстроил свои войска в три главные линии, расположенные на расстоянии 300 ярдов друг от друга. Оборонительных траншей у них не было. Британцы наступали тремя бригадами, следовавшими за бригадой кавалерии и отрядом негров. При приближении британцев американский авангард отступил, но, когда Страйкер понял, что британцы почти настигли его, он отправил вперед несколько сот человек, чтобы обстреливать их из зарослей, идущих вдоль дороги. В это время генерал Росс поравнялся с британским авангардом. В суматохе перестрелки он получил мушкетную пулю в грудь и вскоре после этого умер. Командование британскими войсками взял на себя полковник Артур Брук из 44-го полка. Завидев американцев, выстроенных в оборонительном порядке при поддержке артиллерии, Брук собрал свои войска и построил их к бою. Сопротивление американцев было несколько тверже, чем у Бладенсбурга, но под сильным напором часть американской линии дрогнула, и Страйкеру пришлось отступить. Британцы потеряли 46 человек убитыми (включая генерала Росса) и 295 ранеными; американцы – 24 убитыми, 139 ранеными и 50 попавшими в плен. Генерал Страйкер отошел к Балтимору и занял позицию на полмили впереди балтиморских траншей. Британцы встали лагерем прямо в поле.
На следующее утро 13 сентября британцы продолжили наступление. К 10 часам утра их армия остановилась примерно в полутора милях от Балтимора, и полковник Брук произвел рекогносцировку городских оборонительных укреплений. В результате он решил, что при содействии флота можно попытаться взять траншеи штурмом во время ночной атаки. 12-го британские корабли прошли вверх по реке Патапско и приготовились утром 13-го атаковать форт Макгенри. Адмирал Кокрейн был поражен силой американской позиции. Помимо самого форта Макгенри американцы затопили 24 корабля поперек гавани между фортом и холмом Лазаретто-Пойнт и установили в последнем небольшую батарею. Внутри гавани, позади затопленных кораблей, расположились американские канонерские лодки.
Всего при штурме форта Макгенри британцы использовали шестнадцать кораблей, включая пять бомбардирских и ракетных. Гарнизон форта составлял 1000 человек под командованием майора Джорджа Армистеда. Среди них было 600 солдат регулярных войск, отряд моряков капитана Барни, а также ополченцы из местной милиции и добровольцы. Британский обстрел начался на рассвете 13 сентября, и первыми огонь открыли бомбардирские корабли, стоявшие достаточно далеко, чтобы американцы не могли достать их ответным огнем. Но позднее, когда британцы попытались подойти ближе, они были отброшены американскими орудиями. Британский обстрел продолжался с короткими перерывами до часа ночи 14-го. В это время американцы обнаружили, что британцы отправили корабли вверх по широкому каналу, находившемуся справа от форта. Этот канал представлял собой основное русло реки Патапско, и из него британцы надеялись высадиться на полуостров, на котором располагался форт Макгенри, чтобы позади форта пройти в гавань и в Балтимор. Эту часть полуострова защищал форт Ковингтон и отдельная батарея.
Когда британцы начали стрелять по форту Ковингтон ракетами, защитники форта Макгенри смогли использовать зарево от ракет и вспышки от орудийных залпов, чтобы нацелить свой огонь в нужном направлении, в то время как форт Ковингтон и батарея тоже оказывали врагу упорное сопротивление. Британцы не прекращали огонь до 7 часов утра 14 сентября, но еще задолго до этого адмирал Кокрейн осознал, что не сможет пробиться в балтиморскую гавань. Накануне вечером он проинформировал полковника Брука, что участие военно-морской флотилии в атаке на Балтимор нецелесообразно, и они приняли совместное решение, что штурм оборонительных укреплений Балтимора силами только наземных войск был бы слишком рискованным и обошелся бы британцам слишком дорого. 14-го числа было решено начать отступление.
Самым известным описанием обстрела форта Макгенри стало то, которое сделал адвокат Френсис Скот Ки, прибывший к Кокрейну, чтобы организовать освобождение врача, захваченного британскими войсками во время вашингтонской экспедиции. Он мог наблюдать ночной бой с корабля, участвовавшего в операции, и неделю спустя опубликовал в балтиморской газете то, что позже стало частью американского гимна. Его слова «красное зарево ракет, разрывы бомб в воздухе» сделали описание на удивление вневременным.
Наутро 14 сентября британцы быстро отошли назад по полуострову к устью реки Патапско, а их корабли отплыли от оборонительных укреплений, которым они причинили так мало вреда. В результате британского обстрела американцы потеряли всего 4 человека убитыми и 24 ранеными. 15-го числа армия снова погрузилась на корабли в Норт-Пойнт. До октября они оставались в заливе Чесапик, а потом ушли на Ямайку.