Писатель В.В. Крестовский в 1865 г. так писал об этом страшном месте: «Если бы кто вздумал вообразить нашу тюрьму чем-нибудь вроде „Ньюгет“ или „Бастильи“, тот жестоко бы ошибся. Внешность ее совсем не носит на себе того грандиозного мрачного характера, который веет воспоминаниями и стариной… Наша тюрьма, напротив, отличается серо-казенным, казарменным колоритом обыденно-утвержденного образца. Так и хочется сказать, что „все, мол, обстоит благополучно“, при взгляде на эти бесконечно скучные прямые линии, напоминающие своею правильностью одну только отчетистую правильность ружейных темпов „раз-два!“… Эта-то самая казенность и давит вашу душу каким-то тягуче-скучным гнетом.
Неправильный и не особенно высокий четырехугольник, нечто вроде каменного ящика с выступающим пузатым полукругом, наугольными башнями, низкими, неуклюжими, – здание, выкрашенное серовато-белою краскою; внизу форменные будки и апатично бродящие часовые – таков наружный вид главной петербургской тюрьмы. Только два ангела с крестом на фронтоне переднего фасада несколько разнообразят этот общеказенный скучный вид здания. В передней башне, выходящей к Литовскому мосту, вделаны низкие и тяжелые ворота, о бок с ними – образ Спасителя в темнице и в узах, да несколько кружек для арестантов „Христа ради“, и над воротами черная доска с надписью „Тюремный замок“ В народе, впрочем, он слывет исключительно под именем „Литовского замка“ – название, данное от соседства с Литовским рынком…»
Старые мрачные каменные стены замка, его низкосводчатые проходы, узкие лестницы, небольшие полукруглые окна, слабо пропускающие свет, – все это как нельзя лучше подходило под тюремное здание, тревожившее и тяготившее воображение заключенных, поколения которых создавали самые невероятные легенды и истории этой петербургской тюрьмы.
Одну из них в 1918 г. поведал в рассказе «Ангел Литовского замка» беллетрист Александр Степанович Рославлев – основатель и редактор журнала «Независимый»: «Ангел стоял на кровле тюремной церкви; отлитый из меди мастером, он являл мощь строгого бытия, какое и подобает посланнику Господа. Словно только ступил он на кровлю – одежда его еще вьется и трепещет, и крылья не опущены. Обе руки Ангел положил на перекладины креста, который выше его и кажется тяжелым. Может быть, Ангел устал и вот слетел отдохнуть. Лик его задумчив, взгляд устремлен в даль полета. Таков был Ангел. Каждую ночь он обходит тюрьму; многие из арестантов слышали его звонкие шаги, а некоторые даже видели блеск крыльев; иногда он стучался в камеру кого-либо из смертников, и того в ту же ночь казнили. В дни Пасхи и Рождества Ангел являлся заключенным во сне, приносил вести от родных, предсказывал, благословлял; было даже, что он медной рукой своей в Страстную субботу выломал решетку в окне одного невинного осужденного и, усыпив часовых, вывел его за ворота тюрьмы. Не мог бы человек согнуть так брусья решетки, да и на плитняке двора остались следы ног, словно бы выжженные. Настанет день, когда Ангел уронит крест, и все выйдут на свободу.
Такова была легенда…»
Родившийся и живший в Коломне живописец и театральный художник Александр Николаевич Бенуа (1870–1960) в своих знаменитых «Воспоминаниях» также дал довольно точную оценку Литовской тюрьме: «…Тюрьма, перестроенная на ампирный фасон из сооруженного при Екатерине „турецкого семибашенного“ замка… состояла из гладких толстых стен, соединенных кургузыми необычной толщины круглыми башнями. Окон в этом здании было до странности мало, а те окна, что были расположены по верхнему этажу башен, были круглой формы, что и давало впечатление каких-то выпученных в разные стороны глаз. Центральный фасад был украшен фронтоном в „греческом вкусе“ со статуями двух держащих крест ангелов посреди. Это мрачное (несмотря на свою белую окраску) здание принадлежало к лучшему, что было построено в классическом стиле в Петербурге, а на меня, ребенка, Литовский замок производил одновременно как устрашающее, так и притягивающее впечатление. Ведь за этими стенами, за этими черными окнами, с их железными решетками, я рисовал себе самых жутких разбойников, убийц и грабителей, и я знал, что из этой тюрьмы выезжали те „позорные колесницы“, которые я видел медленно следующими мимо наших окон, с восседающими на них связанными преступниками. Несчастных везли на Семеновский плац для выслушивания приговора ошельмования».