Укрепленный центр первоначального Полоцка был перенесен в XI в. с небольшого городища на Полоте к ее устью, на мысовую площадку правого берега Западной Двины. В середине XI в. здесь возвели величественный Софийский собор, у стен которого свершалась вся последующая история стольного и великого города.
Могучая Двина надежно оберегала его с юга. Не меньшей преградой была быстрая Полота с ее очень крутым и высоким левым берегом. С востока у подножия горы имелся глубокий ров с протекавшим по нему ручьем.
История Полоцка XII–XIII вв. тесно связана с Витебском. Известно, что в грамоте полоцкого князя Изяслава Ливонскому гермейстеру и рижанам (1265 г.) сказано: «Полотеск, Видьбеск одно есть». Находясь на важном древнем и торговом пути, Полоцк держал под контролем прибыльную водную артерию, у которой были, по свидетельству современников, «берега серебряные, а дно золотое». Однако такое расположение требовало надежных и мощных городских укреплений, а также хорошо вооруженного ополчения. Тем более, что в низовьях Двины обосновался Ливонский рыцарский орден. Как показывают источники, все это в Полоцке имелось. Не случайно полочане участвовали вместе с войском литовских князей в битве с рыцарями у озера Дурбе (1260 г.), а в 1262 г., возглавляемые князем Товтивилом Полоцким, помогли новгородцам и псковичам разбить немцев и взять приступом Юрьев.
Литовский князь Товтивил, женатый на дочери витебского князя Брячислава, правил в Полоцке до 1263 г. Затем здесь были князья Константин и Изяслав. Позднее Полоцк каким-то путем, но скорее всего невоенным, оказался включенным в орбиту интересов рижского архиепископа. В городе стало распространяться католичество, насаждавшееся насилием и бесчинствами немцев. Это вызвало сильное недовольство населения, и в 1307 г. полочане с помощью князя Витеня изгнали немцев. После этого Полоцк вошел в состав Великого княжества Литовского с сохранением «старины» на основе соглашения («ряда») литовских князей с полоцким боярством. Фактически Полоцк и Полоцкая земля пользовались автономией вплоть до XVII в.
XIV в. — время частых вторжений войск Ливонского ордена на земли Белорусского Подвинья, в том числе и на Полоцк. Они имели место в 1324 (дважды), 1333, 1334, 1366, 1382 и 1386 гг. Однако город ни разу не был захвачен. Вооруженные отряды полочан в свою очередь принимали участие в походах против рыцарей, в том числе и в знаменитой битве на реке Стреве в 1348 г.
Археологическое изучение вала Верхнего замка показало, что с напольной восточной стороны его основу составляла песчано-глинистая насыпь с внутренней деревянной перекладкой конструкций в виде толстых бревен, уложенных рядами крест-накрест. Со стороны Западной Двины ее не было.
У подножия Верхнего замка, с востока, уже в эпоху Киевской Руси возник торгово-ремесленный посад, а затем — окольный город, обнесенный земляным валом. Однако в XIV–XV вв. этот вал стал мешать росту поселения, которое постепенно занимало соседнюю территорию между Полотою и Западной Двиной. Тогда же активно росли Заполотский, Островский, Кривцов, Слободской (Бельчицы) и Якиманский посады. К 60-м годам XV в. Полоцк достиг наибольших территориальных размеров за всю свою историю. Причем и Заполотский, и Большой посады имели собственную линию укреплений. С гордостью писали полочане о своем родном городе: «Место Полоцкое ест славутное, как и которое, и не ест низшее во чести ни Кгданьска, ни Кролевца, ни Маримброка». С полным основанием восхвалял «славное место Полоцкое» и Франциск Скорина. Мощь и величие города отмечали многие современники.
Небезынтересно, что еще в то время сохранялась память о месте первоначального поселения, которое называлось «старый город», «старое городище».
Никаких описаний укреплений Полоцка XIV–XV вв. нет. Сколько было башен на Верхнем замке — неизвестно. Лишь одна из них — «Волковая» названа в документе XIV в., сообщающем о ее сносе.
Строительство укреплений издавно было общей повинностью жителей города и волости. Со времен Витовта «город рубливали все княжеские люди и жители места Полоцкого». При короле Казимире некоторое время постройкой укреплений ведал особый чиновник — городничий. Однако полочане воспротивились «новине» и просили короля сохранить «старину», оставив руководство городовым делом в руках наместника.
Начиная с 90-х годов XV в. Полоцк оказывается в полосе частых порубежных войн Великого княжества Литовского с Русским государством. Его стратегическое размещение давало основание современникам назвать город «ключом Ливонии и самой Литвы». Его укреплению уделялось много внимания.