Неоднократные появления русских князей и татар на левом побережье верхнего течения реки Немана и желание обеспечить от нападений их границы собственной Литвы и новой литовской столицы Вильны, заставили Гедимина соорудить в Лиде, на месте старого деревянного укрепления, новый замок. Пишут, что основание нового Лидского замка было положено Гедимином в 1323 году, а постройка его тянулась несколько лет, причем замок строили пленные волынцы под руководством выписанных из Киева мастеров».
Замок строился с использованием новейших по тому времени достижений фортификационной техники.
Для строительства была использована болотистая местность, где река Каменка впадала в реку Лиду. Замок был построен на искусственно насыпанном из гравия и песка острове.
Замок имел две башни. Башня в юго-западном углу замкового двора, с основанием 11 на 11 метров, с толщиной стен 3 метра, имела высоту около 15–20 метров. Вторая башня, 12 на 12 метров, была построена в северо-восточном углу замка, по диагонали от первой, уже в 80-е годы XIV века.
Перед северной стеной длиной 80 метров был вырыт глубокий и широкий ров, заполненный водой. Ее также прикрывали болотистые берега рек Каменки и Лиды. Западная и восточная стены имели длину по 85 метров, южная – немного длиннее.
Замок имел двое ворот и запасной выход. Очевидно, были и тайные ходы.
Замковые стены имели бойницы. По всему периметру замковых стен, чуть ниже бойниц, был построен деревянный помост – боевая галерея, для стрельбы защитников замка по нападавшим.
Башни на всех этажах имели покои и залы, в подвалах – тюрьма, на нижнем этаже – архив и суд. На территории замка было несколько колодцев, на Каменке и Лиде – большой пруд.
Вокруг замка лежало подзамче, с хозяйственными постройками, мельницами, винокурней. Собственно город был построен на север от замка. От центральной – Рыночной – площади отходили четыре улицы – Виленская, Замковая, Каменская, Кривая. В заречье находилось несколько дворов. Укреплений город Лида не имел.
Незадолго до своей смерти Гедимин распределил уделы Великого княжества Литовского. Лидский замок получил его сын Кейстут, будущий герой литовского народа. В 1346 году Лидская волость была отдана Кейстутом Ольгерду Гедеминовичу.
Около 1370 года Ольгерд отдал Лиду в держание своему любимцу – простолюдину Войтыле, вору и подлецу – так часто бывает даже с талантливыми людьми.
После смерти Великого литовского князя Ольгерда Войтыла втерся в доверие к новому хозяину Ягайло, что было нетрудно – они друг друга стоили.
Войтыла получил боярство и начал оказывать влияние на государственные дела, которые теперь решались не на благо Великого княжества Литовского, а для обогащения Войтылы. Ягайло вместо расследования выдал замуж за нового боярина свою родную сестру Марию.
Дела государства страдали, и рыцарь Кейстут Гедиминович захватил Лиду и повесил Войтылу. После смерти Войтылы Лидский замок перешел к Ягайло, титуловавшем себя в грамотах князем витебским, кревским и лидским. Лидская волость граничила с Ошмянами и Троками.
В результате литовских междоусобиц в 1384 году крестоносцы после долгой осады взяли Лидский замок, повторив свой успех в 1392 году. Однако осада Лидского замка объединенным войском крестоносцев, английских и французских рыцарей в 1394 уже не удалась, жители и гарнизон отстояли замок.
В 1392 году замок и город Лида перешел во владение к Витовту Кейстутьевичу, Великому князю Литовскому, который перестроил замок, сделав его одним из сильнейших укреплений в Литве, и украсил его.
4 августа 1392 года в 9 километрах от Литвы в усадьбе Остров между Ягайло и Витовтом был заключен вечный мир, который, впрочем, вскоре был нарушен Ягайло.
С 1396 по 1399 год Витовт отдал Лиду в кормление хану Тохтамышу, бежавшему из Золотой Орды. В 1399 году объединенные войска Витовта и Тохтамыша были разгромлены на реке Ворскле золотоордынцами.
В 1405 году Лиду неудачно штурмовали войска смоленского князя Юрия Святославича.
М. Шимелевич писал: «В 1422 году Лиде пришлось быть свидетельницею великолепного свадебного пира. В феврале этого года в городе Новогрудке состоялось четвертое бракосочетание престарелого польского короля Владислава Ягайло с киевской княжной Софией, а празднование свадьбы, по приглашению гостеприимного Витовта, было назначено в Лиде. Сюда собралось множество гостей. Веселые пиршества в Лиде продолжались до Великого поста и долго доставляли материал для рассказов о проявленном здесь великолепии».
Во время очередной борьбы за великокняжеский престол в 1434-м Лидский замок безуспешно штурмовал князь Свидригайло.
С 1434 по 1445 год в Лиде жил хан Девлет Хаджи-Гирей. В 1445 году татарские послы из Крыма пришли в Вильно звать Девлет Хаджи-Гирея на Крымское ханство. Гирей уехал и был провозглашен ханом Крымской орды. Лида опять стала принадлежать Великому князю Литовскому.