Что касается гравюры Я. Баптисты, то на ней показаны укрепления Стрелецкого замка и Заполотья, отсутствующих у С. Пахоловицкого. Укрепления Верхнего и Среднего замков даны не полностью и во многом условны, но вместе с рисунком позволяют составить четкое представление о тогдашнем Полоцке.
Определенную информацию несут и надписи на углах гравюры, сообщающие, что Полоцк тогда считался «крепчайшей твердыней так хорошо защищенный местоположением, бастионами, запасом бомб и гарнизоном, что по справедливости почитался самым укрепленным замком не только в Московии, но и на всем севере…».
После событий 1579 г. Полоцк вновь начал отстраиваться, причем не только в Заполотье, но и на старом Великом посаде. Опять были восстановлены замковые и городские оборонительные сооружения. В организации обороны и «сторожи» города произошли некоторые изменения. Особой королевской грамотой от 1593 г. мещан освободили от «сторожи» в замке. Доходы, которые ранее получали от двух перевозов на Двине и пускали на оплату сторожей, теперь шли в пользу иезуитского коллегиума и воеводы.
Вероятно, в начале XVII в. в Полоцке случился пожар, уничтоживший какую-то часть города. В 1607 г. Сигизмунд III потребовал срочного восстановления замка. На Варшавском сейме тогда же была одобрена просьба послов Полоцкого воеводства о восстановлении «руин старой церкви Св. Софии», где планировалось хранить архивы воевод.
Город, едва начавший отстраиваться, в 1615 г. вновь опустошился сильным пожаром. Вероятно, восстановление города и его фортификации затянулось. В этой связи Варшавский сейм в 1626 г. принял специальное решение о приведении в надлежащее состояние Полоцкого замка, «от которого, как от окраинного, многое для Речи Посполитой зависит». Для этого сюда собирались направить «служебных — пехоту и конницу, порох, ядра». Однако эти добрые пожелания правительства Речи Посполитой в отношении Полоцка остались скорее всего на бумаге. В разразившейся очередной русско-польской войне город был в ночь с 12 на 13 июня 1633 г. «за час до рассвета» атакован войсками воевод А. П. Репнина и Н. А. Плещеева. Но подошедшее вскоре королевское войско заставило снять осаду.
С большим трудом Полоцк оправлялся после разорения. Лишь 21 июня 1638 г. в ратуше была принята «Уфала, сталая отпоепольства, яким способом паркан коло места будовать».
Этот документ приняли на совместном заседании полного состава магистрата с многими представителями горожан. «Уфала» обязывала вначале провести подсчет заселенных в Полоцке «пляцов», затем шнуром обмерить длину городских укреплений и разделить участки нововозводимой фортификации пропорционально, «владеемому пляцу». За порядком и правильным исполнением «Уфалы» должны были «пилновати сотники, поручники и десятники, абы яко нарыхлей паркан со всим на всим выстави».
Однако уже через два года «Уфала» была нарушена полоцкой шляхтой, запрещавшей мещанам, живущим на шляхецких юридиках, исполнять городские повинности и строить «паркан для обороны от неприятелю».
Владислав IV, рассмотрев тяжбу магистрата со шляхтичами, в своей грамоте еще раз подтвердил сохранение действия повинности «городовой работы и сторожи» для каждого жителя Полоцкого воеводства.
Летом 1643 г. в городе вспыхнул жесточайший пожар, от которого «все место Полоцкое, замок Вышний и Нижний, коллегиум, костелы, церкви, ратуши, вежи и паркан и все оздобы места Полоцкого сгорели и в пепел обратились». Уцелела, кажется, только одна «брама Лезная» на Нижнем замке.
На этот раз восстановление города и его укреплений безнадежно затянулось до 1653 г., начавшегося под знаком явной подготовки Русского государства к войне с Речью Посполитой. Было спешно организовано укрепление пограничных с Россией замков, в том числе и Полоцкого.
Однако это были запоздалые меры, хотя кое-что в Полоцке сделать удалось. И касалось это не столько укреплений и подготовки города к обороне, сколько спасения населения от надвигавшейся войны.
Летом 1654 г. войска воеводы В. П. Шереметьева, по одним сведениям, численностью до 15, по другим — до 50 тыс. человек, направились в Белорусское Подвинье. Движение этой группировки ратных людей к Полоцку было далеко не случайным, если учесть его стратегическое значение для всего Великого княжества Литовского. Но имелись и другие причины: воевода получил «ведомости, что доподлинно Полоцк пуст, которого жители и оборонители его оставили», уйдя в Ливонию и Курляндскую землю. Захват города стал заманчив вдвойне.
17 июня В. П. Шереметьев с ратными людьми пришел под Полоцк и «у литовских людей перевоз и слободы и дороги к Витепску и к Вильне заставил и в Полоцке польских и литовских людей осадил и к городу всеми ратными людьми и конными и пешими приступали и над городом государевым делом промышляли и городские же литовские люди с государевыми ратными людьми бились и из наряду стреляли». По сведениям самого воеводы, его войска «с литовскими людьми бились день целый». Осада, перемежавшаяся с переговорами, продолжалась до конца месяца.