На самом деле прядильный двор был самой настоящей тяжкой каторгой, на которой женщины работали непрерывно, как на галерах, спали прямо на полу, у своих прялок. Их плохо кормили и постоянно били надсмотрщики. Берхгольц, проходя из «концертной палаты» через одну из комнат прядильного двора, чуть не задохнулся от смрада, который оттуда шел («воняло почти нестерпимо»). Так были устроены все тогдашние фабрики. Приговор о ссылке на прядильный двор для прошедших пытки и непригодных к тяжелому труду колодниц ни у частных владельцев, ни у Мануфактур-коллегии восторга не вызывал. Для работы им инвалиды не требовались. В 1723–1724 гг. по этому поводу даже разгорелся ведомственный спор. Когда Тайная канцелярия решила выслать на прядильный двор пытанных на следствии колодниц, то чиновники Мануфактур-коллегии не без раздражения писали в сыскное ведомство: «Бабы эти стары, а у нас мануфактурный все фабрики отданы на откуп кумпанейщикам, посадским людем, и те кумпанейщики оных баб за старостою не принимают для того, что работать эта бабы не могут, а кормить их кумпанейщикам от себя без работы не можно». Адмиралтейская коллегия, имевшая свои парусиновые фабрики, отвечала на запрос Ушакову в том же духе: «На те фабрики не токмо тех старых и притом пытанных баб, но и моложе их принимать не велено»
Начало каторги на Рогервике было положено с конца 1710-х гг., когда Петр решил создать незамерзающую военно-морскую базу для Балтийского флота. Для этого требовалось соединить молом материк с лежащим в версте от него островом Рогер. Ни битье свай, ни под топление ряжей — срубов, заполненных камнем, здесь не помогало из-за глубин и частых штормов. Поэтому работа каторжных, как писал А.Т. Болотов, служивший там начальником конвоя, состояла «в ломании в тутошнем каменистом береге камней, в ношении их на море и кидании в воду, дабы сделать от берега до острова каменную широкую плотину, которые они называли “мулею”». Так как глубины у этой части побережья достигали 30 саженей (более 60 м), то каторга эта стала сизифовым трудом: зимние штормы уничтожали все, что делали рабочие за лето, и работа по сооружению мола начиналась снова. Болотов, находившийся там в 1755 г., пишет, что за 40 лет непрерывной работы длина мола достигла 200 саженей (765,
Для жилья каторжникам были устроены «каторжные дворы» или «остроги». Они были и в Сибири, и в других местах. Сохранился рапорт А.Д. Меншикова Петру I из Петербурга за июль 1706 г.: «Острог каторжным колодникам заложили». П.Я. Канн считает, что речь идет об остроге на месте современной площади Труда