Некоторые историки, впрочем, полагают, что название «Золотой» дворец получил потому, что у него был поистине «золотой» заказчик – богатейший торговец Фредерик Баргум (1733–1800). Начав как торговец лесом, Баргум получил королевский патент на поставки леса для нужд королевского флота, а затем за баснословную сумму в миллион ригсдалеров выкупил патент на право монопольной поставки в Данию табака. Про Баргума то ли в шутку, то ли всерьез говорили, что денег у него «больше, чем у самого короля». И он действительно не пожалел никаких денег, заказав проект дворца самому популярному королевскому архитектору тех лет Жардену, и щедро раскошеливался все пять лет, что строился дворец, который был закончен в 1764 г. Затем Баргум постарался обставить его так, чтобы его дворец был ничуть не хуже, чем находящиеся поблизости от него дворцы Мольтке, графа Леветцау и графини Шакк. И если фактического правителя государства графа Адама Готтлоба Мольтке Баргуму превзойти не удалось, то графа Леветцау и графиню Шакк ему точно удалось заткнуть за пояс. Покои его дворца поражали всех утонченной роскошью, в специально устроенной оранжерее посреди зимы благоухали тропические растения и пели редкие заморские птицы, а винному погребу Баргума, как говорили, мог позавидовать сам Версаль.
Окруженный баснословной роскошью, Фредерик Баргум счастливо жил в Золотом дворце, не отказывая себе ни в чем. Однако в Дании все громче начали звучать голоса тех, кто говорил: несметные богатства, которые Баргум получает, торгуя табаком, ничем не заслужены, и не следует превращать одного-единственного человека во всесильного монополиста, заставляя все население страны покупать табак только у него, и тем самым платить ему своего рода дань. Одновременно королевские аудиторы выявили и сговор, существовавший между Баргумом и рядом датских адмиралов, в результате чего лес, приобретаемый на нужды флота, становился поистине «золотым». И хотя король, опасаясь скандала, не решился заставить Баргума вернуть все, что он заработал нечестно, он все же постановил отменить его табачную монополию и привлечь новых поставщиков леса для нужд королевского флота.