Больница Святого Иакова (Сент-Джеймса) была покроена в Лондоне, писал английский историк XVI века Джон Стоу, «в незапамятные времена» — для больных проказой. Ещё в 1290 году король Эдуард I подтвердил права больницы на переданные ей участки земли и в канун Дня святого Иакова разрешил проводить там ярмарку (ставшую родоначальницей знаменитой некогда «May Fair», ежегодной майской ярмарки — она дала название одному из центральных кварталов Лондона, «Мэйфер»). В середине XV века больницу перестроили, а в 1531 году её выкупил Генрих VIII: «Король купил луга вокруг Сент-Джеймса, и сам Сент-Джеймс, и воздвиг там прекрасный дворец, и парк, и построил множество великолепных и просторных зданий». Сёстрам-монахиням, которые ухаживали за больными, было назначено содержание, самих больных распустили, а старое здание снесли. На его месте построили небольшой дворец из красного кирпича в типичном тюдоровским стиле. Сейчас от него сохранилась лишь часть с главным входом.
С самого начала Сент-Джеймс строили не как главную резиденцию — у короля были и Ричмонд, и Хэмптон-корт, и Уайтхолл, и другие, более скромные дома. Принято считать, что новый дворец предназначался для самой «роковой» из жён короля Генриха, Анны Болейн, женщины, ради которой он оставил королеву Катерину Арагонскую, которая так и не родила желанного наследника, зато стала матерью будущей великой королевы Елизаветы I, и которую король отправил на эшафот, обвинив в супружеской измене, инцесте и колдовстве. Инициалы Генриха и Анны и сейчас можно видеть над входом во дворец. Однако если учесть, что Анна стала королевой в 1533 году, а три года спустя её казнили, то вряд ли она успела пожить там — скорее всего, строительство закончили только к концу 1530-х годов.
Потолок часовни дворца, тоже частично сохранившейся до наших дней, расписывал Ганс Гольбейн. В то время Генрих собирался жениться в очередной раз, так что инициалы, украшающие часовню, относятся уже не ко второй супруге Анне Болейн, а к четвертой, Анне Клевской. Правда, этот брак оказался очень коротким, и неудивительно, что в одном из уголков часовни герб Генриха соединён с гербом Катерины Говард, его пятой жены — он развёлся с Анной и женился на Катерине в течение месяца, так что художнику, видимо, срочно пришлось дополнить роспись в честь новой, очередной королевы…
Окружённый полями и лесом, которые позднее превратились в парк, Сент-Джеймский дворец стоял достаточно уединённо, чтобы монарх, приезжая туда время от времени, мог отдохнуть и даже поохотиться. В конце XVI века испанский посол в Англии писал о дворце, что его «построил король Генрих для королевских отпрысков». Эдуард VI, единственный законный сын Генриха, мало бывал там — и когда был принцем, и когда стал королём. Зато во дворце Сент-Джеймс успел пожить Генрих Фицрой — бастард Генриха VIII.
Сын красавицы Елизаветы Блаунт, фрейлины королевы Катерины Арагонской, крестник кардинала Томаса Вулси, Фицрой был хотя и незаконным, но любимым ребёнком. Когда ему было шесть лет, король даровал ему титул герцога Ричмондского и Сомерсетского. В ноябре 1533 года его женили на Мэри Говард, двоюродной сестре Анны Болейн — незадолго до этого, в мае, Анна стала женой Генриха VIII. Может быть, юный герцог и достиг бы ещё больших высот при дворе (хотя вряд ли отец назначил бы его наследником), но в 1536 году, в возрасте всего семнадцати лет, он скончался в Сент-Джеймском дворце, скорее всего, от болезни лёгких.
После смерти самого Генриха в 1547 году во дворце некоторое время жила его вдова Катерина Парр, впрочем, Ненадолго его пережившая — вскоре она вышла замуж и умерла при родах. Катерина, достойная леди, заботилась обо всех детях супруга, и Мария, дочь короля от Катерины Арагонской, навещала мачеху в Сент-Джеймском дворце.
Когда в 1553 году она взошла на престол, то именно этот дворец стал её любимой резиденцией. Там она тосковала по мужу, испанскому принцу Филиппу, который надолго оставлял её одну, там в 1558 году она подписала договор, по которому англичане лишились Кале, которым владели много лет. В ноябре того же года королева Мария, которая вошла в историю как жестокая «Кровавая Мэри» и которая на самом деле была несчастной женщиной в сложные времена, скончалась. Её тело несколько недель покоилось в королевской часовне Сент-Джеймского дворца, прежде чем было захоронено в Вестминстерском аббатстве.
Королева Елизавета, сменившая Марию на троне, тоже часто бывала в этом дворце — в Уайтхолле она занималась государственными делами, а в тихом Сент-Джеймсе отдыхала. Скажем, в 1564 году Роберт Дадли, фаворит и близкий друг Елизаветы, подучил титул графа Лестера, и это событие там пышно праздновали. В Сент-Джеймсе же, в 1588 году, Елизавета ожидала новостей, когда корабли испанской Великой Армады двинулись на захват Англии. Молитвы королевы были услышаны — страна была спасена, потрёпанный испанский флот с трудом вернулся обратно.