К северу от Хмелиты, на большом холме, который огибает река Вазуза, сохранились многочисленные и разнообразные строения бывшей усадьбы знаменитых графов Шереметевых –
Высокий статус рода графов Шереметевых заставил их пригласить для проектирования и строительства усадебного комплекса в Высоком известного архитектора Н.Л. Бенуа, которого заинтересовали масштабами работ, большими финансовыми возможностями их рода и обещанием дать творческую свободу знаменитому зодчему. Работы в Высоком начались в 1867 г., предстояло построить значительный господский дом, конный завод, многочисленные жилые дома для работников усадьбы, ряд хозяйственных построек, а, главное, возвести великолепную церковь, которая по желанию Шереметевых должна была быть построена в стиле церкви в их знаменитой усадьбе Останкино.
Строительство в усадьбе велось поэтапно. В середине XIX в. в ней построили небольшой деревянный господский дом для графини А.Г. Шереметевой, а в 1900 г. в нем надстроили еще один этаж (этот «дом старой графини» является самой древней, сохранившейся усадебной постройкой), рядом разбили пейзажный парк, построили усадебную церковь с колокольней и амбар (1868–1871), молочную ферму (1869), оранжерею и выездные пилоны с фигурами львов (1870), птичник с высокой башней (1872), конный двор (1873), другие строения.
Шереметевы в эту усадьбу приезжали не часто, подолгу в ней не жили, больше надеялись на хозяйственное значение усадьбы. Учитывая такую оценку этой усадьбы владельцами, архитектор Н.Л. Бенуа не сделал господский дом центром усадебной композиции, он выдвинул на первое место хозяйственное значение усадьбы. Такое решение композиции усадебного комплекса было необычным. Были построены и сохранились своеобразный по форме птичий двор, оранжерея, кухня, маслобойня, дом управляющего имением, дом садовника, ряд других строений, все они возведены в духе романтической стилизации под европейскую архитектуру XVII в. Но хозяйство усадьбы давало не доходы, а убытки. Шереметевы не любили расставаться с недвижимостью и продолжали строительство, рассчитывая, что со временем усадебное хозяйство все-таки станет выгодным.