24 мая 1934 года: «Разборка Сухаревой башни заканчивается. <…> Общий план работ выполнен более чем на 80 процентов. Нижний этаж будет разобран в течение ближайших 5–6 дней. Все строительные материалы предоставлены гордоротделу для использования при замощении улиц».
12 июня 1934 года: «В ночь на 11 июня закончились работы по сносу Сухаревой башни. Разобрано свыше 16 тыс. кубометров стройматериалов».
Ученые смогли спасти лишь отдельные фрагменты некогда знаменитой постройки, которые были увезены в Коломенское. Ходили разговоры, что Сталин, приезжая по ночам, держал под личным контролем то, как велась разборка, и что даже какие-то книги якобы сначала обнаружили, а потом вывезли оттуда. Но Черная книга так и не нашлась. Еще говорили, что, когда рабочие уже были готовы начать снос, из башни вышел старик, вроде как сам Брюс, и, до тех пор, пока его не увезли на машине НКВД, от башни не могли отколоть ни кирпичика. А немногим ранее, в 1929 году, когда началось строительство московской аэродинамической лаборатории ЦАГИ на месте, где когда-то располагалась Немецкая слобода, при разборке старой кирхи был обнаружен в склепе гроб с останками Брюса, которого удалось опознать по фамильному перстню. Останки были переданы в реставрационную мастерскую М. М. Герасимова, но потом они исчезли без следа. Перстень тоже со временем затерялся, сохранились только восстановленные в первоначальном виде кафтан и камзол Брюса, которые сейчас находятся в фондах Государственного исторического музея. И в одночасье возродились слухи про привидение Брюса, будто бы посещавшее свой дом в Глинках и Сухареву башню. Пошли разговоры и про мудреное, по мнению его современников, предсказание Якова Брюса, в котором, в частности, были слова «на моих костях потомки российские будут учиться летать».
После того как Сухарева башня перестала существовать, из забвения вышло «воспоминание» о предсказании Брюса, что башню после его кончины разрушат.
А затем и про то, что им якобы была предречена насильственная смерть Павла I и — весьма точно — дата пожара в его усадьбе Глинки, которая к тому времени перешла к семейству Мусиных-Пушкиных. Между прочим, имя Брюса всплывало в памяти москвичей в связи с победой над Наполеоном, накануне вступления чьего войска в Москву произошел один знаменательный случай. В тот день ястреб с путами на лапах опустился на двуглавого медного орла, находившегося на верху Сухаревой башни. Путы зацепились за крылья орла, ястреб трепыхался и совсем запутался, он долго бился и в конце концов издох на глазах у собравшихся людей.
За исключением легенд и подобных сказкам историй, потомки получили в наследство от энциклопедиста и собирателя Якова Брюса уникальную библиотеку, собрание картин, минералов, нумизматическую и этнографическую коллекции и уникальный кабинет разных «куриозных вещей», которые по завещанию хозяина, составленному им незадолго до смерти, были переданы в кунсткамеру Академии наук Санкт-Петербурга. Согласно описи, в кабинете имелись: «зеркало кругловитое небольшое, в котором кажет большое лицо»; «раковин разных больших и малых 99»; «туфли китайские плетеные из травы», «гриб каменный»; «тыква индейская»; «кость мамонтовой головы»; «янтари, в которых есть мушки»; коробочка с «маленькой натуральной змейкой» и множество других диковин. Плюс семьсот с лишним карт, рукописные материалы, инструменты…
Брюсу приписывают идею радиально-кольцевой планировки Москвы — 12 колец и 12 лучей, идущих от Кремля, — которую он предложил после очередного губительного пожара. С его именем связывается создание карты святых и гиблых мест Москвы, в которой в числе гиблых мест указаны участок, где расположен знаменитый Дом на набережной, улица Спиридоновка и Останкино.
В декабре 1925 года членами комиссии «Старая Москва» — археологом И. Я. Стеллецким, посвятившим всю свою жизнь поискам библиотеки Ивана Грозного, архитектором Н. Д. Виноградовым и краеведом О. И. Пенчко — были обследованы подземные помещения Сухаревой башни и обнаружены пять замурованных подземных ходов, которые предположительно вели к дому Брюса на 1-й Мещанской улице. Однако исследования не продолжали. Это способствовало появлению легенды, что Черная книга Брюса может находиться где-то в этих ходах, как и его колдовская библиотека, в которой, как стали говорить, в числе чародейных книг и предметов были «Русское кулесничество», «Книга Сивилл», «Черная магия», волшебное зеркало, Соломонова печать. Легенда эта подстегнула интерес ученых и черных археологов, которые особенно активизировались в 1990-е годы. Тем более что никем не были опровергнуты и слухи о том, что знаменитая и таинственная библиотека Ивана Грозного может находиться в прорытом еще при нем самом ходе от Сретенских ворот к Кремлю. Но поиски одной и другой библиотек ни к чему не привели, хотя с так называемыми погибшими кладами — сундуками с дорогими одеждами и мехами — копателям везло.