Первоначально остров принадлежал царской фамилии, затем был подарен канцлеру графу Г. И. Головкину, который в 1714 году возвёл на острове загородный дворец. В гостях у графа часто бывал Пётр I. Однажды, как утверждает старая петербургская легенда, во время прогулки по графской усадьбе Пётр собственноручно посадил дуб, который до сих пор привлекает внимание посетителей острова. В дни празднования основания Петербурга к этому немому свидетелю первых лет города приносят цветы. Петровский дуб в народе считается хранителем Каменного острова. Некогда старый дуб был обнесён металлической оградой, и даже дорога, доходя до легендарного дерева, осторожно раздваивается и обходит его с двух сторон. За три столетия своего существования дуб состарился, сгнил и превратился в мемориальный пень. В юбилейные дни 300-летия Петербурга на его месте посадили молодой дубок, выращенный из жёлудя одного из старинных дубов Екатерининского парка города Пушкина, который, по легенде, также был посажен лично Петром I. Каменноостровский дуб и сейчас называют «Хранителем Каменного острова».
От Головкина остров перешёл в собственность следующего канцлера, графа А. П. Бестужева-Рюмина. Новый владелец переселил сюда из своих украинских сёл сотни крестьянских семей, которые занялись очисткой леса и осушением болота. Для постройки своего загородного дворца Бестужев-Рюмин пригласил архитектора Бартоломео Растрелли. При дворце был разбит сад, в котором устраивались великосветские гуляния с маскарадами и фейерверками.
В 1765 году императрица Екатерина II вернула остров в собственность императорской фамилии, подарив его наследнику престола, цесаревичу Павлу Петровичу. В следующем году по проекту архитектора Ю. М. Фельтена, согласно указанию Екатерины II, для Павла Петровича начались строительство Каменноостровского дворца и перепланировка парка. Дворец строил Юрий Фельтен, один из авторов решётки Летнего сада, а парк планировал не менее знаменитый Тома де Томон, автор Биржи и Ростральных колонн на Васильевском острове.
В советские времена в Каменноостровском дворце располагался закрытый военный санаторий, поэтому с тех пор всю восточную часть Каменного острова в народе называют «Малой землёй». В настоящее время Каменноостровский дворец передан детям. В нём разместилась Академия юных талантов.
К западу от Каменного острова расположен Елагин остров. Это один из самых известных островов Петербурга.
Своё название он получил после 1777 года, по имени одного из первых владельцев – обер-гофмейстера Императорского двора Ивана Перфильевича Елагина. Об этом времени сохранилась память в фольклоре. Два старинных дуба у Елагина дворца до сих пор в народе называют «Елагинскими».
Остров несколько раз менял своё название. Первоначально, в 1703 году, он назывался Мишиным, или Михайлиным. На старинных шведских и финских картах так и обозначено: Мистулансаари, что в буквальном переводе означает «Медвежий остров». Возможно, так его называли финские охотники, по аналогии с названиями других островов дельты Невы: Заячий, Лосиный (ныне – Васильевский), Кошачий (ныне – Канонерский), Вороний (ныне – Аптекарский) и так далее. Однако вот как объясняет происхождение этого названия легенда, пересказанная Столпянским.
«В одну из светлых майских ночей 1703 года маленький отряд преображенцев делал рекогносцировку на островах дельты Невы. Осторожно шли русские солдаты по небольшому крайнему к взморью островку, пробираясь с трудом в болотистом лесу. Вдруг послышался какой-то треск. Солдаты остановились, взяли ружья на приклад и стали всматриваться в едва зеленеющие кусты, стараясь разглядеть, где же притаились шведы. И вдруг из-за большого повалившегося дерева, из кучи бурелома с ревом поднялась фигура большого серого медведя. „Фу, ты, пропасть, – вырвалось у одного из русских, – думали шведа увидеть, а на мишку напоролись, значит, остров этот не шведский, а Мишкин“».
Елагин остров находится в северной части дельты Невы. Во второй половине XIX века он стал местом великосветских гуляний петербургской знати. Петербургский городской фольклор связывает это с именем графини Юлии Павловны Самойловой. Урождённая фон дер Пален, графиня Юлия Павловна была отдалённой родственницей Екатерины I, о «чухонском» происхождении которой мы уже говорили. По матери Юлия Самойлова – внучка графа Скавронского. В столице её называли «Последняя из Скавронских». Петербургский губернатор Пален, в 1801 году возглавлявший заговор против императора Павла I, приходился ей дедом по отцу. Официально Юлия Павловна считалась падчерицей знаменитого государственного деятеля Юлия Помпеевича Литта. Однако в свете поговаривали, что он её подлинный отец. Так это или нет, сказать трудно, но известно, что по завещанию Литта оставил Юлии Павловне несметные богатства.