Отойдя от дел государственных, Яков Вилимович серьезно занялся любимым делом – наукой. Обустроив усадьбу Глинки и оборудовав в ней обсерваторию, он продолжил астрономические наблюдения, время от времени наведываясь в Москву, в Сухареву башню. Кроме того, он занимается проблемами чистой математики, разработкой проблем практической оптики, нахождением точных методов определения удельного веса металлов, отыскиванием способов очистки металла от посторонних примесей. (Его ученик В.Н. Татищев, будучи одним из руководителей московского Монетного двора, привлек его к работе.)
Установленный Брюсом удельный вес золота, серебра, меди практически не отличается от современных значений. А хранящееся в Государственном Эрмитаже большое вогнутое металлическое зеркало для отражательного телескопа, изготовленное «собственным тщением» Брюса в августе 1733 года, и две, им же изготовленные зрительные трубы не уступают лучшим образцам и более позднего времени.
Также Брюс увлекается медициной и оказывает помощь окрестным жителям, составляя лекарства из трав. Это породило новые слухи о том, что
Научные эксперименты и инженерные открытия графа порождали у местных жителей суеверный ужас, закрепивший за Брюсом славу колдуна. Стали рассказывать про дракона, влетающего по ночам в окна обсерватории, о том, что сам Брюс может летать, надев на руки огромные крылья, о горничной из цветов, о чарами замороженном летом пруде, на котором можно кататься на коньках… Да мало ли волшебных сказок может придумать русский народ, дай ему для этого повод? Но что характерно, хоть и подозревали Брюса в связях с нечистой силой, однако во всех рассказах он выступает в роли скорее доброго и чудаковатого волшебника, чем злого колдуна.
В Глинках Брюс прожил около десяти лет, очень уединенно, якобы под охраной взвода солдат (приводятся даже оценки военных историков, по которым численность взвода составляла не менее тридцати человек). Умирал он в одиночестве: его дочери не пережили младенческий возраст, а жену он похоронил 30 апреля 1728 года.
Брюс скончался в апреле 1735 года, немного не дожив до 66 лет. Был погребен в Немецкой слободе, в старой лютеранской кирхе (ныне улица Радио в Москве). Усадьба Глинки будет во владении Брюсов до 1815 года, в 1757 же году в конце парка наследники построят церковь и фамильную усыпальницу Брюсов.