Въ концѣ ХVІ и въ началѣ XVII ст., при Годуновѣ, этотъ дворъ принадлежалъ дядѣ царя Бориса, боярину конюшему Дмитрію Ивановичу Годунову, по смерти котораго (въ 1605 г.) при царѣ Шуйскомъ былъ отданъ знаменитому племяннику царя Михаилу Васил. Скопину-Шуйскому, а послѣ Смуты тотчасъ же былъ отданъ по приговору правящихъ бояръ во владѣнье боярину Ѳед. Ив. Шереметеву, сидѣвшему во все Смутное время въ Кремлѣ съ Поляками и по всему вѣроятію сидѣвшему на этомъ самомъ дворѣ, такъ какъ послѣ Скопина и въ Смутное время дворъ несомнѣнно пустовалъ.
Дм. Ив. Годуновъ находился въ большомъ приближеніи у Грознаго, получивъ въ 1571 г. самую приближенную къ царю должность постельничаго. Въ 1573 г. былъ возведенъ въ санъ окольничаго, а въ 1578 г. въ санъ боярина. Можно сказать, что онъ открывалъ широкую дорогу къ возвышенію рода Годуновыхъ, потому что первый изъ этого рода выдвинулся на поприщѣ царской службы. За нимъ слѣдовалъ его родственникъ Степанъ Вас, получившій въ 1576 г. санъ окольничаго. Потомъ за ними уже слѣдовалъ и Борисъ Ѳед. Годуновъ, получившій въ 1578 г. тоже важнѣйшую должность по приближенію къ царю, именно должность кравчаго, а потомъ, въ 1581 г., боярскій санъ. За Борисомъ шелъ братъ Степана, Иванъ Вас, въ тотъ же годъ получившій санъ окольничаго, а въ 1584 г. и боярскій санъ вмѣстѣ съ братомъ Григоріемъ Вас, о которомъ говорено выше.
При Грозномъ Дмитрій Ив. въ служебномъ распорядкѣ постоянно двигался впереди Бориса, который перегналъ его только при воцареніи Ѳедора Ив. и при собственномъ воцареніи далъ ему высокую должность конюшаго (въ 1599 г.). Въ этой должности онъ померъ въ 1605 г. во время крушенія царственной семьи Годуновыхъ.
Въ супружествѣ за нимъ была Аграфена, занимавшая на свадьбѣ Грознаго на Маріи Нагой, въ 1580 г., третье мѣсто въ сидячихъ боярыняхъ.
Бояринъ Ѳед. Ив. Шереметевъ очень позаботился укрѣпить за собою упомянутый дворъ
По вступленіи на царство Михаила Ѳедоровича, черезъ полгода отъ написанія упомянутой даной, это владѣніе было утверждено за Ѳ. Ив. царскою жалованною грамотою отъ 19 мая 1613 г., въ которой опись построекъ не приведена вполнѣ, но упомянуто, что храмъ былъ каменный во имя Бориса и Глѣба да четыре предѣла, а подъ ними три полаты и пр., и сказано, что мѣсто отдается боярину взамѣнъ стараго его двора, что у него взялъ царь Борисъ въ Кремлѣ же городѣ, а на томъ его старомъ мѣстѣ было полатъ и передѣловъ и погребовъ и поваренъ и сушилъ каменныхъ 26.
Къ концу своихъ дней бояринъ завѣщалъ свой дворъ зятю своему князю Никитѣ Ив. Одоевскому, женившемуся въ 1622 г. на его дочери Евдокіи Ѳедоровнѣ.
Въ написанной, имъ 29 ноября 1645 г. весьма обстоятельной духовной грамотѣ бояринъ разсказалъ и о томъ, что онъ вновь выстроилъ на своемъ дворѣ, и по какому случаю этотъ дворъ поступилъ въ его владѣніе: «А поставилъ я на томъ своемъ дворѣ трои хоромы каменные, а на нихъ верхніе полаты, а подъ ними полата жъ да мыльня; а у всѣхъ хоромъ сѣни и крыльцы да сушилы и чердакъ и поварня и хлѣбня каменные; а что была поварня, и я подъ нею сдѣлалъ ледникъ, а въ поварнѣ полату. А тѣмъ дворомъ пожаловалъ меня блаженныя памяти государь царь и вел. князь Михайло Ѳедоровнчъ всеа Русіи вмѣсто взятаго моего двора, что взялъ у меня дворъ