С именем графа Александра Линдси Кроуфорда, имевшего прозвища Тигр и Бирди, связана еще одна история и знаменитый призрак замка. Граф слыл азартным карточным игроком. Субботним вечером после изрядного кутежа с лордом Глэмисом ему захотелось поиграть в карты. Но для этого нужен был третий игрок, и Патрик Лайон приказал одному из слуг занять место за ломберным столом. Лишь только сиятельные картежники вошли в азарт, слуга почтительно напомнил хозяину, что время приближается к полуночи, поэтому он прекращает игру: наступало воскресенье, а играть в азартные игры в воскресный день запрещает церковь. Граф Бирди возмутился и стал кричать, что готов играть даже с самим дьяволом хоть до Судного дня.
Ровно в полночь в дверь постучали и в комнату вошел высокий незнакомец, одетый во все черное. Он вежливо спросил разрешения присоединиться к игре, положив на стол в качестве ставки горсть рубинов. Долго ли играли и кто выиграл — неизвестно. Но после своей смерти граф Бирди Кроуфорд, осужденный играть в карты с дьяволом до самого Судного дня, явился в Глэмис. С тех пор его призрак бродит по залам, пойманный в ловушку вечности, и каждую полночь возвращается в ту же карточную комнату, чтобы продолжить игру. Эту комнату замуровали еще около 1700 года, но шум и крики доносятся ночами оттуда до сих пор.
Глэмис — родовое гнездо семьи Боуз-Лайон. В 1767 году 9-й граф Стратмор и Кингхорн сменил фамилию: после женитьбы на Мэри Элеанор Боуз, чтобы получить доступ к ее приданому, составлявшему миллион фунтов, сеньор Глэмис был вынужден взять фамилию супруги. В 1904 году полноправным владельцем замка становится Клод Джордж Боуз-Лайон, 14-й граф Стратмор и Кингхорн. Девятым ребенком из его десяти детей была леди Элизабет Энджел Маргарет Боуз-Лайон, известная сегодня как королева-мать. Мать ныне царствующей королевы родилась здесь сама и родила в Глэмисе принцессу Маргарет Роуз — младшую сестру Елизаветы II. Семье Боуз-Лайон замок принадлежит и поныне, отражая всю непростую историю Великобритании.
За решетками окна башни с часами иногда появляется Серая Леди — дух Джанет Дуглас, одной из самых трагических фигур шотландской истории. Ее часто видят в часовне, где она стоит на коленях перед алтарем и неслышно молится о чем-то.
Почти пятьсот лет назад Джанет стала супругой 6-го лорда Глэмиса. У них родился сын Джон. Они жили мирно и счастливо в замке до смерти лорда в 1528 году. Но леди Джанет принадлежала к одному из самых влиятельных шотландских аристократических родов Дуглас, и это обстоятельство принесло в семью беду. Ее брат был отчимом жестокого и мстительного короля Шотландии Якова V. Монарх настолько ненавидел отчима, что тому, кто даже произносил имя Дугласа, устраивал самую безжалостную вендетту. Джанет Дуглас тоже стала мишенью для ненависти Якова. Он конфисковал замок Глэмис, обвинив женщину в колдовстве и приготовлении смертельных микстур с целью убить короля.
Никто никогда не сомневался в том, что обвинения были сфабрикованы, но леди Джанет и ее юный сын были заключены в сырых и темных застенках замка. Все же предъявить достойные обвинения в колдовстве безупречной женщине у короля никак не получалось. Чтобы подготовить обвинение, он обратил свое внимание на ее семейство. Многие члены клана, в том числе и слуги, были подвергнуты немыслимым пыткам, и в конце концов некоторые из них дали ложные показания против Джанет Дуглас. Несовершеннолетнего сына несчастной женщины принудили смотреть на изуверства, перед тем как начали жестоко пытать самого. Так король получил нужные ему признания, сестру его отчима признали виновной в колдовстве и осудили на смерть вместе с сыном. 17 июля 1537 года леди Джанет Дуглас, почти слепую после длительного заключения в темнице, сожгли на костре в Эдинбурге на Замковой горе. Несчастная мужественно переносила страдания, а свидетели казни не проронили ни слова, не подвергая сомнению ее невиновность.
Сын казненной, Джон, 7-й лорд Глэмис, был заточен в темницу до совершеннолетия, когда его должны были казнить. К счастью для него, Яков V умер в 1542 году, а оставшаяся вдовой королева Мария де Гиз объявила амнистию и даже вернула юному Джону Лайону титул. Перед смертью, как рассказывали, Яков раскаивался в своих поступках. Он-то и был первым, кто увидел призрак леди Джанет, до сих пор блуждающий по замку. Глухой звук, который сопровождает его появление, напоминает стук молотков рабочих, строивших эшафот для костра.