И все же важнейшим фактором, определившим географию мест содержания пленных, была безопасная удаленность от границ. Именно этим было продиктовано крупнейшее перемещение пленных в истории Северной войны — высылка каролинов в Сибирь в 1710—1711 годах. Безусловно, и до этого времени шведов отправляли за Урал, но эти случаи были единичными и имели адресный характер. Например, в холодную и страшную Сибирь ссылали тех, кто, по мнению властей, совершил действия, заслуживавшие особенно сурового наказания. Подполковника Арвида Кульбаша сразу после Полтавы отправили в Сибирь за его тесные отношения с клятвопреступником гетманом Иваном Мазепой. Та же участь постигла драгунского капитана, итальянца по происхождению Адалберта де Сакса, сбежавшего ранее с русской на шведскую службу. И до 1710 года небольшие группы шведских пленных работали на сибирских заводах — Верхотуринском и Алапаевском. Но массовой сибирская ссылка стала только весной 1711 года, когда из разных мест Центральной и Юго-Восточной России двинулись за Урал колонны шведских пленных. В чем же причина столь серьезного изменения, а в действительности ухудшения положения каролинов?
Долгое время причиной высылки каролинов в Сибирь считался раскрытый заговор о побеге в Казани и Свияжске в феврале 1711 года. Обстоятельства его возникновения таковы. К концу осени 1709 года в Казани и в крепости, расположенной на противоположном берегу Волги, — Свияжске были размещены солдаты и офицеры трех немецких драгунских полков, которые после Переволочны перешли на царскую службу. Кроме них там находились и другие пленные.
Часть наиболее активных офицеров составила план, предусматривающий побег либо через Украину в Польшу в лагерь шведской армии, либо в Крым, где можно было найти помощь у турок, на территории которых находился Карл XII. В заговор было посвящено около 150 человек. Но в результате предательства некоего адъютанта по фамилии Бринк планы были раскрыты, и власти жестоко наказали организаторов. Безусловно, эти события могли привести к началу высылки каролинов в Сибирь, если бы не одно обстоятельство. Приказ о срочной отправке шведских военнопленных из юго-восточных районов страны был отдан Петром I раньше; губернатор Апраксин получил его 30 декабря 1710 года. Следовательно, были какие-то другие причины.
Скорее всего, главную причину надо искать в сложившейся политической ситуации, в которой оказалась Россия после того, как 20 ноября 1710 года Турция, не без активного вмешательства Карла XII, объявила ей войну. Положение русских даже после столь поразительных побед над шведами было весьма непрочным. Государство было истощено, и по большому счету противопоставить мощнейшей турецкой армии было нечего. Начавшиеся военные действия развернулись в опасной близости от мест, куда ранее по царским указам было направлено много шведских военнопленных, в частности, в районах Азова и Воронежа. Только в Воронеже, как известно, к марту 1710 года было около 7000 каролинов. Да и в Азове пленных военных и гражданских было немало, так как туда их отправляли с начала войны. Для того чтобы не усложнять и без того непростую ситуацию в южных приграничных областях присутствием потенциальной «пятой колонны», нужны были решительные и быстрые действия. И вот тут-то последовали царские указы казанскому и воронежскому губернаторам о массовой высылке пленных в другие, более безопасные места, в первую очередь за Уральский хребет. Кстати, дальнейшие события показали, что меры предосторожности были приняты вовремя, так как, например, Азов вообще перешел в руки противника по условиям русско-турецкого мирного договора 12 июля 1711 года.
Таким образом, в конце 1710 — начале 1711 года география размещения шведских пленных стала стремительно расширяться. До этого момента основная часть каролинов и депортированных жителей Прибалтики содержалась в следующих городах центральной и юго-восточной части русского государства: Москва, Санкт-Петербург, Азов, Арзамас, Архангельск, Астрахань, Владимир, Вологда, Воронеж, Дмитров, Зарайск, Казань, Касимов, Кашира, Козлов, Коломна, Козьмодемьянск, Кострома, Муром, Новгород Великий и Нижний Новгород, Переславль, Свияжск, Тула, Чебоксары и пр. В духе русской исторической традиции часть пленников, прежде всего высокопоставленная знать, была размещена в монастырях, так как их толстые стены давали властям надежду, что убежать оттуда они не смогут. Это были Троицесергиев монастырь, Борисоглебский монастырь в Дмитрове, Ипатьевский монастырь в Костроме, Ефимовский монастырь в Суздале, Воскресенский монастырь в Угличе, Саввино-Сторожевский монастырь около Звенигорода, Кирилло-Белозерский монастырь.