Впоследствии следов ранних поселений здесь не находилось, и можно только говорить о значительно более позднем использовании этой местности. Будущий остров напротив княжеской крепости часто заливался при паводках и наводнениях, река отступала, оставляя плодородный ил, и неудивительно, что именно на этом ее берегу появились сады. Земля тут еще в XIV в. принадлежала великому князю, и после пожара 1493 г., от которого в Кремле сгорели многие строения, Иван III в 1495 г. «повеле сносити церкви и дворы за рекою Москвою, против города, и повеле на тех местах чинити сад».
По великокняжескому указу развели огромный сад и поселили государевых садовников, образовавших три дворцовые слободы: Верхние Садовники, находившиеся к западу от брода через Москву-реку, что у Боровицкой башни (где позднее построили Всехсвятский, или Большой Каменный, мост), Средние Садовники – прямо против Кремля, и Нижние Садовники – от «живого» моста у кремлевской Беклемишевской башни на восток. В 1679 г. в них насчитывалось 403 двора – это были одни из самых больших и густонаселенных слобод Москвы. Если основная территория Государева сада находилась прямо напротив Кремля, то западнее и восточнее ее стояли дворы слобожан, обслуживавших царев (до 1547 г. великокняжеский) двор, причем самые богатые и обширные усадьбы находились в западной части (там, в частности, находилась и усадьба управлявшего садами думного дьяка Аверкия Кириллова). Главной улицей была нынешняя Садовническая, показанная на плане Мейерберга 1661–1662 гг., на которой узкие и длинные участки обращены строениями на нее, а дворами и огородами – к Москве-реке и старице.
Государевы сады обязательно изображались на ранних планах-рисунках города – так, на «Петровом» плане конца XVI – начала XVII в. нарисован прямоугольный огороженный участок с деревьями и регулярными посадками; вход в сад находился с восточной стороны, где рядом стояли два островерхих здания. Примерно такие же рисунки были помещены и на более поздних планах, за исключением так называемого «Несвижского» плана 1611 г., где рисунок сделан в более свободной манере.
Сады упоминались в записках иностранцев, бывавших в Москве. Так, швед Петрей де Эрлезунда, посетивший Москву в начале XVII в., писал о них: «Сам великий князь имеет три больших прекрасных сада с разными деревьями и травами».
Садам в Московии придавали большое значение. В сборнике жизненных правил XVI в. «Домострой» подробно излагались наставления по уходу за садом. Прежде всего надо было «укрепить ограду, чтобы в огород ни собаки, ни свиньи, ни куры, ни гуси, ни утки, никакая скотина не могла зайти ни с чужого двора, ни со своего, тогда яблоням и всяким растениям урона нет». За всем надо бдительно смотреть: «На погреб, и в ледник, и в сушилки, и в житницы без себя никого не пускать, везде все самому передавать, отмерять и отвешивать; и сколько кому чего даст, то все записать». При закладке сада надо следить, «чтобы расстояние от дерева до дерева было в три сажени, а то и больше, тогда яблони растут большими, зерновым и овощам не мешают, а как разрастутся густо на деревьях ветви, уже ничто на земле не растет».
И.Е. Забелин опубликовал такую опись сада в Нижних Садовниках: «В Набережных Садовниках по описным книгам 195 [1687] года 77 дворов, в том числе 23 двора беломестцов. В садах садоваго строенья: яблоней 469 рослых, 602 почешных, разсажены 1718 почек да 11 гряд, 62 прививка, 50 дерев вишен; смородины 4 гряды, 3 куста красной, 23 гряды да 24 куста черной, 11 гряд малины, 3 куста байбарису. У беломестцов садоваго строенья яблоней 180 рослых, 462 почешных и прививков, 13 вишен, 150 слив, 23 груши, смородины 3 куста красной, 82 черной, 3 гряды малины».
В 1701 г. случился один из самых опустошительных московских пожаров. Современник подробно описывал, что происходило в Кремле: «19 июня в 11-м часу волею Божиею учинился пожар, загорелись кельи в Новоспасском подворье; и разошелся огонь по всему Кремлю, и выгорел царев двор весь без остатку; деревянные хоромы и в каменных все нутры, в подклетях и в погребах запасы и в ледниках питья и льду много растаяло от великаго пожара, ни в едином леднике человеку стоять было невозможно. Ружейная и мастерская палаты, святыя церкви на государевом дворе, кресты и кровли, иконостасы и всякое деревянное строение сгорело без остатку; также и дом святейшего патриарха, монастыри и на Иване Великом колокола многие от того пожара разсели, и все государевы приказы, многия дела и вся казна сгорела; дворы духовенства и бояр все погорели без остатка. Во время пожара монахов и монахинь, священников и мирских людей погибло много в пламени. Огонь был так велик, что им уничтожены были Садовническая слобода, государевы палаты в саду, даже струги и плот на Москве-реке погорели без остатка. Во время пожара в Кремле невозможно было ни проехать на коне, ни пешком пробежать».