Неправильный и не особенно высокий четырехугольник, нечто вроде каменного ящика с выступающим пузатым полукругом, наугольными башнями, низкими, неуклюжими, – здание, выкрашенное серовато-белою краскою; внизу форменные будки и апатично бродящие часовые – таков наружный вид главной петербургской тюрьмы. Только два ангела с крестом на фронтоне переднего фасада несколько разнообразят этот общеказенный скучный вид здания. В передней башне, выходящей к Литовскому мосту, вделаны низкие и тяжелые ворота, обок с ними – образ Спасителя в темнице и в узах, да несколько кружек и для арестантов „Христа ради“, и над воротами черная доска с надписью „Тюремный замок“. В народе, впрочем, он слывет исключительно под именем „Литовского замка“ – название, данное от соседства с Литовским рынком…».
Во второй половине XIX века на верхнем этаже Литовского замка расположились камеры так называемого «татебного» отделения, куда помещались лица «по тяжким преступлениям». Нижний этаж предназначался для разного рода бродяг. В камерах третьего отделения сидели арестованные «по подозрению в воровстве, мошенничестве и краже». Арестантами четвертого отделения были уже осужденные воры и мошенники.
Тюремные отделения различались по цвету воротников курток заключенных: «татебное отделение» – черный, подозреваемые в воровстве и мошенничестве – голубой, а уже осужденные за эти же проступки – желтый воротник. По цвету воротников первых надзиратели называли «егерями», вторых – «гарнизоном», а третьих – «уланами».
«Беспаспортные» заключенные, сидящие в камерах первого этажа Литовского замка, носили воротники красного цвета и «военного» звания не имели, однако арестанты окрестили их «мрачным цветом». В «бродяжном» отделении были воротники зеленого цвета, который у заключенных ассоциировался с «вольными зелеными полями и лесами».
Часть камер второго этажа отводилась для «частного» отделения, арестанты которого носили одежду с воротниками малинового цвета. Здесь отбывали заключение так называемые «бесхлопотные» арестанты – купцы, мещане и иностранцы. Сюда помещали по особой протекции: заключенные этих тюремных камер были освобождены от работы и даже периодически могли носить «вольную» одежду.
Мрачные каменные стены замка, его низкосводчатые переходы, узкие лестницы, небольшие полукруглые окна, слабо пропускающие свет – все это как нельзя лучше подходило для тюремного здания, тревожило и тяготило заключенных, поколения которых создавали самые невероятные легенды и истории об этой петербургской тюрьме.
Одну из них в 1918 году поведал в рассказе «Ангел Литовского замка» беллетрист Александр Степанович Рославлев – основатель и редактор журнала «Независмый»: «Ангел стоял на кровле тюремной церкви; отлитый из меди мастером, он являл мощь строгого бытия, какое и подобает посланнику Господа. Словно бы только что ступил он на кровлю, – одежда его еще вьется и трепещет, и крылья не опущены. Обе руки Ангел положил на перекладины креста, который выше его и кажется тяжелым. Может быть, Ангел устал и вот слетел отдохнуть. Лик его задумчив, взгляд устремлен вдаль полета. Таков был Ангел. Каждую ночь он обходит тюрьму; многие из арестантов слышали его звонкие шаги, а некоторые даже видели блеск крыльев, иногда он стучался в камеру кого-либо из смертников, и того в ту же ночь казнили. В дни Пасхи и Рождества Ангел являлся заключенным во сне, приносил вести от родных, предсказывал, благословлял; было даже, что он медной рукой своей в Страстную субботу выломал решетку в окне одного невинного осужденного и, усыпив часовых, вывел его за ворота тюрьмы. Не мог бы человек согнуть так брусья решетки, да и на плитняке двора остались следы ног, словно бы выжженные. Настанет день, когда Ангел уронит крест, и все выйдут на свободу.
Такова была легенда…».
Через 103 мрачных камеры Литовского замка прошли тысячи заключенных, в том числе народовольцев, а в начале XX века – участников рабочего революционного движения. В тюрьме отбывали заключение многие революционеры 1870-1880-х годов, среди которых был и будущий писатель В. Г. Короленко. В 1879 году его арестовали за связь с народниками и распространение прокламаций, отпечатанных в подпольной типографии. После нескольких месяцев пребывания в Литовском замке Короленко был осужден и сослан в Вятскую губернию. В начале XX века в эту страшную тюрьму были помещены участники известной Обуховской обороны.