Во дворце в Большом Толмачевском переулке жил сын Прокофия Демидова офицер гвардии Аммос Прокофьевич. Потомок кузнецов и оружейников, фамильными заводами уже не занимался. Был женат на княжне Вяземской из древнейшего русского дворянского рода. Давал в этой усадьбе роскошные балы. До революции усадьба простиралась до самой Ордынки. На месте пруда, фруктовых деревьев, столетних лип ныне возвышается громада Федерального агентства по атомной энергии.
В 1882 году дом вместе с прочими постройками, садом и земельным участком был за 100 тысяч рублей серебром продан Московскому учебному округу, и здесь разместили 6-ю гимназию. Это была довольно известная школа, которую окончили писатель Иван Шмелев, педагог Станислав Шацкий, режиссер Всеволод Пудовкин. Левый флигель занимала семья директора. Это практика учебных заведений прошлого: руководитель должен жить в его стенах. Правый флигель делили надзиратели и учителя. Парадный вход был только для педагогов и родителей учеников. Сами ученики заходили сзади, где был ученический вход и раздевалка. С 1942 года главный дом и двор принадлежат Государственной педагогической библиотеке. И сотрудники, и посетители сегодня пользуются парадным входом.
Напротив Педагогической библиотеки стоит писательский дом (Лаврушинский пер., 17, стр. 2). Он построен в 1937 году архитектором Иваном Николаевым на месте будущего продолжения Бульварного кольца. Но Бульварное кольцо за Москву-реку не протянули, и дом остался стоять в тихих переулках, а не на линии нового широкого бульвара. Маргарита в романе «Мастер и Маргарита» громит дом Драмлита. Изнутри и снаружи молотком по стеклам. В качестве дома Драмлита избран, скорее всего, дом писателей в Лаврушинском переулке. «Маргарита пошла вниз и, приземлившись, увидела, что фасад дома выложен черным мрамором, что двери широкие, что за стеклом их виднеется фуражка с золотым галуном и пуговицы швейцара…» Это описание именно писательского дома.