В 1604 году дворец перешёл во владение Генриха Фредерика, старшего сына короля Иакова I. Стюарты, переселившись из Шотландии в Англию, принялись обновлять и перестраивать доставшиеся им в наследство от Тюдоров дворцы. Наследник престола, круг интересов которого был очень широк, дополнил Сент-Джеймс и специальным помещением, в котором была пушка — принц увлекался артиллерией, приказал разбить тутовый сад — для разведения шелкопрядов и т. д. Так же, как и в Ричмонде, и в Уайтхолле, здесь разместились коллекции произведений искусства — дело, которым увлекались и король Иаков, и оба его сына — Генрих-Фредерик и будущий Карл I.
Так же, как и Ричмонд, Сент-Джеймс перешёл к Карлу после смерти старшего брата, а когда в 1625 году Карл женился на французской принцессе Генриэтте-Марии Бурбон, дочери французского короля Генриха IV, то Сент-Джеймс из «дворца для принцев» превратился в частную резиденцию Карла и его молодой супруги. Там родилась большая часть их детей, в том числе и будущие короли Карл II и Иаков II — первые принцы, рожавшиеся когда-либо в этом дворце; там стояла главная колыбель государства, убранная кармазинным бархатом, золотой парчой и горностаем.
Столь же роскошно было и убранство всего дворца — Карл I не жалел средств; другое дело, что этих средств становилось всё меньше и меньше, казна истощалась… Как писал в 1638 году французский посол, «невозможно описать количество покоев, чьи стены украшены роскошными тканями, где расставлена всевозможная мебель».
Но всему приходит конец. Во время революции и гражданской войны Сент-Джеймский дворец стал тюрьмой Для трёх детей короля — принцессы Елизаветы, Генриха, герцога Глостерского, и Иакова, герцога Йоркского. Герцог Йоркский, второй по старшинству сын Карла I, провёл там почти год, прежде чем смог бежать в 1648 году. Именно в этом дворце король провёл свои последние дни в январе 1649 года перед своей казнью, там простился со своими детьми, которые ещё оставались в Англии, четырнадцатилетней Елизаветой и восьмилетним Генрихом: «Принцесса, будучи старше, лучше осознавала, что происходит с её царственным отцом, у неё был печальный вид, и она много плакала. А её маленький брат, глядя на слёзы сестры, тоже стал печален, хотя, благодаря своим юным летам, ещё не мог осознать, в чём дело. Король поднял их с колен, поцеловал и благословил, а затем, посадив к себе на колени, дал им наставления о том, как надлежит исполнять свой долг и блюсти верность королеве, их матери и принцу, своему наследнику, любить герцога Йоркского и других родичей». Карл провёл в Сент-Джеймсе эту свою последнюю ночь, а наутро следующего дня отправился по конвоем в свой другой дворец, Уайтхолл, где уже был воздвигнут эшафот…
Увы, не все из детей казнённого короля смогли порадоваться реставрации монархии и воцарению своего самого старшего брата, ставшего Карлом II. Принцесса Елизавета пережила отца всего на год, две другие сестры, Мария и Генриэтта, вышли замуж, но умерли совсем молодыми… В сущности, из всей семьи у короля Карла II оставался только Иаков (Джеймс), герцог Йоркский. Ему, своему единственному остававшемуся в живых брату, король и отдал дворец-тёзку.
Итак, Сент-Джеймский дворец снова стал «семейным гнездом», как это было при Карле I. В 1662 и 1665 годах соответственно на свет появились дочери герцога и его первой супруги, Анны, принцессы Мария и Анна, которые впоследствии по очереди стали королевами Англии (сама герцогиня Йоркская скончалась в этом дворце в 1671 году).
Хотя Карл II жил в другом дворце, и он, и в особенности его придворные часто навещали Сент-Джеймс — относительно уединённо стоящий дворец, рядом с которым был «огромный луг, всегда зелёный, по которому летом прохаживались дамы», был весьма привлекателен для весёлых прогулок. У некоторых же придворных дам были там и свои покои, в частности, у Барбары Палмер, Луизы де Керуайль и Гортензии Манчини — прекрасных, но капризных королевских фавориток. Луга и охотничий парк, разделявшие Уайтхолл и Сент-Джеймс, привели в порядок; советы по благоустройству давал будущий главный садовник Версаля, так что вскоре сады около Сент-Джеймса стали ещё более популярны. Настолько, что о так называемом «пруде Розамонды» говорили, мол, «каждый год там появляется около тысячи рогоносцев» — красавицы, гулявшие там, надо полагать, мало заботились о собственной добродетели.