Острова, известные под названием Силли, частью покрыты травой, частью являются голыми, вылизанными ветрами скалами, круто обрывающимися в океан. Самая высокая точка над уровнем моря на острове Сент-Мартинс имеет всего 56 метров. Полагают, что, название островов происходит от уэльских слов «силя» или «силла», что переводится как «угорь», которым изобилуют здешние воды. Но более вероятен другой вариант, образующий названия от слова «суллех» — «подводные камни».
К островам также относят группу обнажающихся в отлив скал, расположенных в семи милях на северо-восток от острова Сент-Мартинс. По числу скал группа носит название Севен-Стонс (Семь Камней).
Несмотря на неблагоприятные природные условия и оторванность от берегов Англии, острова Силли были заселены еще в глубокой древности — в бронзовом веке. Некоторые историки склонны полагать, что Силли и являются островами Касситериды, возможно известными еще финикийским мореплавателям, которые приходили сюда за оловом.
Когда исключительно сильный и длительный по времени шторм в 1962 году размыл прибрежный песок и гравий, то оказалось, что они скрывали древние каменные дома и стены, относящиеся к началу первого тысячелетия до нашей эры. Упоминание об островах встречается в древних хрониках, датируемых IV веком до н. э., а во время римского владычества (1 —IV века н. э.) Силли являлись торговым и перевалочным пунктом. Официальным владением Англии острова стали с 938 года, когда англосаксонский король Ательстан основал на острое Треско аббатство монахов-бенедиктинцев и разместил небольшой гарнизон. Развалины монастыря сохранились до наших дней. Позже король Генрих I (1068–1135 годы) передал острова монахам из Тавистока.
Тяжелые жизненные условия обрекали жителей островов на полунищенское существование. Поэтому островитяне, превосходные моряки и рыбаки, занимались и побочными промыслами — контрабандой, пиратством и бичкомерством.
Основными товарами контрабанды с времен феодализма являлись вина и легкие ткани из Франции, фламандские кружева, английские шерсть и сукно, а также виски. С открытием Америки и морских путей в Индию и на Дальний Восток к традиционным контрабандным товарам добавились сахар, пряности, чай, кофе, а затем и табак.
Пиратство на островах Силли развивалось вместе с историей Англии, но особенно возросло в XVI веке. Разбоями занимались как английские, так и французские, шотландские, ганзейские и испанские пираты. Английский король Генрих VIII в 1536 году издал специальный указ о мерах борьбы с пиратством и наказаниях за него. Но эти меры не дали ожидаемых результатов, так как в этот же год король начал реформацию церкви, закрыв все католические церкви и монастыри и конфисковав их имущество. Некоторые из гонимых и разоренных католиков встали на путь вооруженной борьбы, в том числе и пиратства. Одним из его опорных пунктов стали острова Силли. Пираты объединились под командованием некоего Томассино, который был прекрасным мореплавателем и удачливым воином.
Однажды добычей Томассино оказалось голландское судно, которое он привел к острову Треско. При выгрузке трюмов пират обнаружил мешок каких-то луковиц, явно несъедобных. Посмеявшись над причудами голландских моряков, Томассино выбросил содержимое в ров, опоясывавший стены аббатства св. Николая. Спустя некоторое время рассыпанные луковицы проросли, пошли в рост и расцвели бледно-желтыми нарциссами редкой красоты. С Треско цветы распространились по всем островам.
Королевский военный флот и нанятые морские разбойники безуспешно боролись с Томассино более десяти лет. Только в 1547 году удалось покончить с гнездом разбоев на Силли, и то не вооруженной силой. Фаворит короля лорд Сомерсет уговорил Томассино оставить пиратский промысел и перейти на государственную службу. Указом короля он был назначен вице-адмиралом Западного Корнуолла с прилегающими островами, в том числе и Силли.
В 1568 году дочь Генриха VIII королева Елизавета подарила Силли своему фавориту Френсису Годолфину.
Вновь об островах как о прибежище пиратов заговорили 80 лет спустя, во времена английской буржуазной революции. С низвержением королевской династии Стюартов Сияли превратились в прибежище и опорный пункт монархистов. С 1648 года остров Сент-Мэрис избрали для базирования своих кораблей племянники казненного короля Карла I, братья Руперт и Мориц, грабившие в Ла-Манше и Ирландском море торговые суда.
Адмиралу Роберту Блейку пришлось дважды выбивать «братьев-разбойников» с островов: в 1649 и в 1654 году — окончательно.
С реставрацией Стюартов в 1660 году Силли административно причислили к графству Корнуолл. Но так как граф Корнуоллский по традиции является наследным принцем и носит титул герцога Уэльского, то острова стали владением короны, которая уже 150 лет сдает их в аренду.