После казни сына последнего тысяцкого село перешло к великому князю Дмитрию Донскому; с тех пор оно находилось в роду московских государей и неоднократно упоминалось в духовных грамотах и летописных известиях. Так, в 1504 г. Иван III завещал сыну Василию «селцо Воронцовское на Яузе, где мой двор». Этот загородный двор упоминается еще несколько раз, в частности в 1515 г., когда Василий III, по словам летописи, «приехав в Москву, летовал в Воронцове на своем дворе». Великокняжеский двор с дворцом и садом был окружен избами горожан, обслуживавших его, рядом же стояли мельницы на Яузе и кожевенный завод. Одна из немногих в то время каменных церквей в Москве была построена именно в этих местах — великий князь Василий приказал приезжему архитектору Алевизу возвести в селе каменную Благовещенскую церковь (ее здание, многократно перестроенное, стоит на улице Воронцово Поле, № 16).
Под защитой крепостных сооружений (по линии теперешних Садовых улиц) процветала Воронцовская слобода, упоминаемая в XVII в., — тогда она насчитывала 135 дворов. Здесь же недолгое время существовала и небольшая иноземная слобода, которую населяли поляки и литовцы. В этих местах жили стрельцы, постепенно вытеснившие старых жителей за Яузу, где образовалась новая Воронцовская слобода (в районе нынешней одноименной улицы). Еще в начале XVIII в. весь этот район считался стрелецкой землей полка Степана Стрекалова.
Во второй половине XVIII в. склон к Яузе был занят крупными усадьбами, из которых особенно большой была усадьба екатерининского сановника А.А. Безбородко. Он подарил Павлу I свой дворец в Немецкой слободе, и в возмещение ему «пожалована была в вечное и потомственное владение» земля в этих местах. Безбородко писал, что он собирается «заложить новый дом в Москве на прекрасном и первом в Москве месте, в конце Воронцовского поля, на Яузе, у самого Белого города лежащем, которое достал у княгини Хованской покойный князь Потемкин, а после его купила блаженной памяти Императрица» (Екатерина II. —
Сначала А.Н. Островский жил в главном доме, стоявшем высоко на горе (№ 7), а со второй половины 1849 г. переселился в небольшой деревянный домик, стоявший прямо напротив Серебрянического переулка. Отсюда он каждый день ходил пешком на Девичье Поле к редактору журнала «Москвитянин» Погодину, занимаясь перепиской, корректурой и составлением мелких заметок. «Это было тяжелое время, — вспоминал Александр Николаевич, — но в молодости нужда легко переносится». Жилище Островского оказалось мало приспособленным для творческой работы. Он сам писал, что «воробинский дом был очень удобен для того, чтобы простудиться (что мною и исполнено), и очень неудобен для того, чтоб писать и даже думать: у меня не было покойного угла, где бы такие операции могли совершаться без помехи».
Однако именно этот скромный домик стал свидетелем рождения всероссийской известности А.Н. Островского-драматурга: с жизнью в нем связано написание таких шедевров, как «Гроза», «Доходное место», «Свои люди — сочтемся». Он стал местом притяжения для многих деятелей русской культуры, тут бывали артисты, композиторы, писатели.
Дом, в котором почти 30 лет прожил Островский, не сохранился — по тому месту, где он стоял, в конце XIX в. проложен Тессинский переулок, названный по владельцам самого крупного участка. В 1867 г. бывшее владение Островского распродается по частям, которые застраиваются различными зданиями.
Внутри современного участка (№ 5) архитектор В.А. Коссов в 1884 г. строит особняк для богатых банкиров Марк. Филипп Марк приехал в Россию из Германии в 1839 г., породнился с семьей Вогау, занимавшейся поставкой самых различных товаров, а его сын Мориц уже вошел в состав руководства фирмой. Позднее Марки занялись и банковским делом, и промышленными предприятиями. В этом особняке с 1916 г. до отъезда за границу (в 1922 г., где он приобрел большую известность не только как пианист, но и постановками опер) жил пианист Исай Добровейн, которого М. Горький пригласил сыграть В.И. Ленину его любимого Бетховена. В доме № 7 помещался Институт питания, в котором с 1930 по 1952 г. работал профессор М.И. Певзнер, основоположник теории лечебного питания.