К 1351 году было закончено строительство каменных Верхнего и Нижнего замков. За 6 лет до этого Ольгерд передал Витебск своему сыну Андрею. Общая длина замковых укреплений была около 2 километров. Позднее Витебск принадлежал Ягайло, потом – второй жене Ольгерда – Ульянии, из тверского княжеского дома, потом опять Ягайло.
В этот период Витебск – торговый и ремесленный центр на Западной Двине. Витебск торговал с Ригой и Ганзой. Витебские купцы вывозили мед, воск, пеньку, лен, смолу, предметы роскоши. Торговля шла с Москвой, Тверью, Псковом, Новгородом, Чехией, Венгрией, Италией. Город разрастался.
В 1385 году Польша и Литва заключили Кревскую унию – для борьбы против Тевтонского ордена, разгромленного в Грюнвальдской битве 1410 года. Великий князь Литовский Ягайло стал королем Польши и по условиям унии Великое княжество Литовское перестало быть суверенным государством.
В 1386 году против Ягайло выступил Андрей Ольгердович. Его дружины взяли Полоцк и осадили Витебск, но взять город не смогли, и позже потерпели поражение от Ягайло.
В 1393 году Витебск, в котором засел мятежный князь Свидригайло, штурмовали войска Витовта Кейстутьевича. Через месяц осады был взят Нижний замок. Витовт «разбивал мур замку Вышнего беспрестанно», сделал проломы в стенах. Верхний замок был сдан. В 1396 году история повторилась – опять Витовт взял Витебск, выбив оттуда Свидригайло.
После смерти Великого князя Литовского Витовта править стал Сигизмунд Кейстутьевич, против которого опять выступил Свидригайло. В 1435 году полтора месяца войска Сигизмунда осаждали Витебск, в котором заперся Свидригайло. Город был взят. За всю историю Витебск разоряли более 30 раз, но город всегда восставал из пепла.
В 1440 году произошло восстание посадских людей Витебска против литовских властей. Король Казимир IV подтвердил автономию Витебска. Привилей 1441 года назвал Витебск в числе 15 главных городов Великого княжества Литовского. Привилегии Витебска были увеличены привилеями 1444 года – город получил право свободной торговли в Великом княжестве Литовском, привилеем 1447 года льготы получили не только витебская шляхта, но даже мещане. Король Казимир IV в 1451 и 1469 годах был в Витебске с проверкой состояний городских и замковых укреплений.
В 1506 году Витебск стал центром Витебского воеводства – по всему Великому княжеству Литовскому ликвидировались уделы. Воеводство состояло из двух поветов – Витебского и Оршанского. Первым витебским воеводой стал Юрий Глебович. Гербом Витебска стала «погоня» – на красном фоне всадник с поднятым над головой мечом. В 1503 и 1509 годах город получил очередные привилегии, имел свой суд и администрацию – горожане избирали войта, которого утверждал Великий князь Литовский. Витебск стал одним из «порубежных щитов» Литвы на востоке.
С начала XVI века начались русско-польские войны. С 1502 года по 1536 год окрестности Витебска были опустошены, предместья и посады выжжены 5 раз. Замок не был взят ни разу. В 1534 году Витебск не сумели взять московские войска князя Б. Горбатого. Поход повторился в следующем, 1536 году – с тем же результатом – население спасалось в замке, окрестности выжигались, людей уводили в плен. Во время Ливонской войны Витебск трижды осаждали московские войска Ивана Грозного – в 1562 и 1563 году князь А. М. Курбский штурмовал Витебск. В 1568 году Витебск штурмовали московские полки князей Шереметева, Бутурлина, Сабурова – часть города была сожжена. В 1569 году была создана Речь Посполитая. Витебск в составе Великого княжества Литовского вошел в новое государственное образование.
«Хроника Литовская и Немойтская» середины XVI века писала, что от каменных укреплений Витебска остались поврежденные стена и башня.
В 1597 году после подписания Брестской церковной унии в Витебске были построены монастыри иезуитов, францисканцев, доминиканцев, бернардинцев.
17 марта 1597 года король Сигизмунд III дал Витебску Магдебургское право – право на самоуправление и особые привилегии для купцов, и городской герб – «в блекитном полю образ святого Спаса Збавителя нашего, и притом зараз троху нижей меч голый червонный, то ся мает розумять кровавый». Город получил хоругвь, городскую печать, ратушу, гостиный двор, право на ярмарку. Городом стал управлять магистрат из рады во главе с войтом. Правда, войт избирался горожанами и назначался князем.
В 1614 году во время большого пожара сгорели Верхний и Нижний замок Витебска. Пожар повторился в 1623 году. Восстановление замков затянулось, тем более, что в 1626 году город потерял Магдебургское право.
Магдебургское право в течение 30 лет содействовало экономическому росту Витебска. Однако давление униатов и многочисленные налоги вызвали в Витебске восстание 1623 года.