Восстания шотландцев, вызванные отстранением Стюартов от власти, привели к тому, что Тауэр заселили шотландские лорды. Шестеро из них были приговорены к смертной казни. Когда наутро комендант тюрьмы отправился в Наместничий дом, чтобы зачитать смертникам указ, обнаружилось, что одному из лордов удалось бежать. Его жена подкупила стражу, проникла в тюрьму, переодела мужа в женское платье и вывела его оттуда. Узнав об этом, король Георг I, понял всю комичность происшедшего и лишь развел руками: «Для человека в положении милорда действительно больше нечего было делать». Видимо, к XVIII веку Тауэр стал не столь уж неприступен...
После поражения в апреле 1746 года принца Карла Эдуарда Стюарта при Каллодене 50 знатных горцев были признаны Парламентом виновными в государственной измене и повешены, а шотландский лорд Саймон Ловат после недолгого заключения стал последним обезглавленным на Тауэр-хилл человеком благородного происхождения, побывавшим в стенах королевской тюрьмы.
В 1820-м Тауэр «посетил» депутат Фрэнсис Бардет, проповедующий «свободу, равенство и братство». Десять недель Бардет жил в Тауэре, причем вместе с семьей, там его посещали и друзья. Охранники смотрели на него как на своего друга. Перед тем же как покинуть Тауэр, Фрэнсис отправился к коменданту и горячо поблагодарил его за любезное обращение.
Потеря Тауэром «королевского статуса» усугубилась еще и делом «заговорщиков с улицы Кэто» — нескольких голодранцев, задумавших «обустроить» Англию, убив всех 15 министров. Суд приговорил их к смертной казни, после чего они очутились в Тауэре: хорошая еда, прислуга, камин и чистая постель сделали несколько последних дней их жизни гораздо приятнее, чем обычно бывало на воле...
В XIX веке Тауэр на время перестал быть королевской тюрьмой. И хотя на долю Ее Величества королевы Виктории выпало немало восстаний и покушений на монаршью жизнь, она придерживалась того мнения, что жажда царственной крови является признаком умопомешательства. Поэтому за долгие годы ее правления все мятежники препровождались в Бедлам (сумасшедший дом).
XX век добавил к числу узников Тауэра несколько новых имен, причем преимущественно немецких. В 1915-м первой жертвой нового времени стал Карл Ганс Лоди — 39-летний морской офицер, обвиненный британскими властями в шпионаже в пользу кайзеровской Германии и приговоренный к расстрелу на «стуле смерти» — таким образом в рутину тауэровских экзекуций было внесено некоторое разнообразие.
В сентябре того же года в Тауэр был брошен 25-летний Фернандо Бушман, скрипач, также обвиненный в шпионаже. Рассказывают, что всю ночь перед казнью он играл на скрипке — за всю тысячелетнюю историю Тауэра его мрачные казематы никогда не слышали Моцарта.
Наиболее «громким» узником Тауэра в XX веке стал Рудольф Гесс, личный секретарь и заместитель Гитлера по партии. В 1941 году он прилетел в Лондон с предложением мира (так называемая «миссия Гесса»). Его продержали в Домике Королевы с 17 по 21 мая 1941-го, после чего перевели в другую тюрьму.
Со времен Вильгельма Завоевателя каждый заключенный королевской тюрьмы заносился в «Книгу узников». В результате «Книга» составила несколько массивных томов, куда были помещены имена всех осужденных, их приговор, время пребывания, место заключения. Список только наиболее почетных, высокопоставленных узников составил 730 человек, в том числе 17 женщин. За всю историю Тауэра здесь сидело 10 узников королевской крови, из которых 6 были казнены. Из высокопоставленных особ в королевской тюрьме умерли 6 человек, причем один покончил жизнь самоубийством и один умер от разрыва сердца, узнав о собственной реабилитации.
Полный список решившихся на побег составил 37 человек. Из них были пойманы и возвращены в тюрьму 8: четверо казнены, один умер, трое в дальнейшем помилованы. Последний побег из Тауэра совершили в 1722 году Келли Джордж и Лэйер Кристофер: первый бежал успешно, второй был пойман и повешен.
В 1470 году в Тауэр был заключен и казнен его бывший констебль Джон Типтофт по обвинению в зверствах, учиненных им в Ирландии.
В 1307-м в Тауэре содержались рыцари-тамплиеры. Орден был распущен. Самое же «массовое» заточение датировано 1282 годом — тогда в Тауэр были брошены 600 евреев. Многие из них были казнены.
Пример принцессы Елизаветы, коронованной после пребывания в Тауэре, был не единственным. После смерти Генриха V принц Яков четырежды побывал в тюрьме. Освобожденный на условиях женитьбы на кузине Генриха VI в 1424 году, он стал королем Шотландии.
В XX веке в Тауэре были расстреляны 11 иностранных шпионов. Последним узником королевской тюрьмы стал Рудольф Гесс.
Католическая церковь канонизировала 7 узников Тауэра (в их ряду Томас Мор), казненных за отказ признать духовную власть Генриха VIII (1534 год, канонизированы в 1935-м и 1970-м), и одного, невинно осужденного по подозрению в «Пороховом заговоре» (1605 год, канонизирован в 1970-м).