Пугающие слухи о царском колдуне распространились по Москве после того, как суеверные горожане стали замечать, что ночной порой в верхних окнах башни часто мерцает свет. Согласно преданиям, именно в темное время суток в фехтовальной комнате башни проходили под руководством Лефорта и Брюса заседания некоего секретного «Нептунова общества». Точных исторических сведений о том, чем занимались члены этого общества, не сохранилось. Опять же согласно преданию, после смерти Лефорта именно Брюс возглавил тайное собрание. Своим замкнутым образом жизни Яков Вилимович только увеличивал количество различных фантастических россказней вокруг себя. Ранее уже говорилось, что в башне была устроена обсерватория, в которой ночью созерцались звезды.
«Сухарева башня весьма популярна в России – миллионы рисунков с нее разошлись по всем городам. Это очень красивое, высокое, оригинальной архитектуры здание построено Петром Великим в честь Сухаревского стрелецкого полка, оставшегося верным ему вместе с Бутырским полком во время стрелецкого бунта. Сухаревский же полк получил свое название в честь своего полковника Сухарева, искренне преданного Петру. Петр устроил на Сухаревой башне Навигационную школу, где молодые люди обучались морскому делу, тогда еще новому на Руси. Про эту башню в народе существуют фантастические сказания.
Рассказывают, что в ней проживал колдун-звездочет Брюс и что он сделал из цветов женщину; спрыснул он ее сначала “мертвой” водой – и она воплотилась, а потом вспрыснул “живой” водой – и она ожила. Будто у Брюса была такая книга, которая открывала ему все тайны, и он мог посредством этой книги узнать, что находится на любом месте в земле, мог сказать, у кого что где спрятано… Книгу эту достать нельзя: она никому в руки не дается и находится в таинственной комнате, куда никто не решается войти. Основанием для таких вымыслов служило, конечно, то, что Брюс был образованный человек, занимался астрономией и избрал для этого Сухареву башню», – пишет Петр Богатырев в одном из очерков «Московская старина».
Умер фельдмаршал Яков Брюс в 1735 году, прямых наследников не оставил. До нас дошли чиновничьи документы с посмертной описью кабинета Брюса, в которой указано большое количество необычных книг, например «Философия мистика на немецком языке» или «Небо новое на русском языке», и даже загадочный труд, состоявший из семи деревянных дощечек с вырезанным на них непонятным текстом. Писари детально зафиксировали и другие странные находки: «зеркало кругловитое небольшое, в котором кажет большое лицо», «раковин разных больших и малых 99», «туфли китайские плетеные из травы», «гриб каменный», «тыква индейская», «кость мамонтовой головы», «янтари, в которых есть мушки», коробочка с «маленькой натуральной змейкой», «некакой фрукт продолговатый», «два мячика некакого фрукта».
До сих пор отголоски суеверных глупостей о чудесном и таинственном «колдуне» и «чернокнижнике», «московском Нострадамусе» из Сухаревской башни гуляют по беллетристике, странным образом проникая иногда на страницы исторических книг. Но еще Лев Толстой говорил, что
«вся чудесность Брюса состояла в разносторонних энциклопедических знаниях, что и пугало простой народ, которому было невдомек, как это обыкновенный человек мог знать столько премудростей».