Город имел трудную судьбу, за право обладать им долгое время конфликтовали Россия и Польша. Велиж был присоединен к Московскому государству в конце XV – начале XVI в., с 1580 г. был под властью Польши, с 1655 г. отошел к России, а с 1678 г. опять принадлежал Польше, в 1722 г. окончательно вошел в состав России. Велиж с 1776 г. стал уездным городом сначала Псковской, а затем Витебской губернии. Город длительное время имел стабильные торговые связи с Ригой, куда от него везли лес, лен, хлеб. Велиж был и остается городом с неспешным ритмом жизни. Раньше его жители в основном занимались строительством барж и лесосплавом, ремесла и внутригородская торговля развивались слабо. С 1937 г. Велиж стал городом Смоленской земли. В советский период в Велиже создали леспромхоз, построили мебельную фабрику, сыродельный, льнообрабатывающий заводы, другие предприятия. Город стал значимым центром заготовки и переработки древесины. Велиж в период Великой Отечественной войны 1941–1945 гг. был оккупирован немецко-фашистскими войсками более двух лет – с июля 1941 г. по сентябрь 1943 г., был сильно разрушен. В наши дни главными предприятиями этого города являются мебельная фабрика, кирпичный завод, хлебокомбинат, молоко– и льнозаводы, комбинат по пошиву одежды.
Из-за долгой с военными событиями истории в городе почти не сохранились исторические и архитектурные памятники. А религиозные центры (собор, другие храмы, костелы) целенаправленно разрушали в советский период. В Велиже сохранились немногочисленные каменные здания XIX – начала ХХ вв., прямоугольная сетка улиц (результат генерального плана 1778 г., учитывавшего исторически сложившуюся планировку и осуществленную в XIX в.).
В Велиже, в бывшем доме купца и известного велижского мецената О.М. Киселева, работает Историко-краеведческий музей, основанный в 1986 г. на базе школьных музеев. В нем есть археологический, исторический, этнографический, военный разделы, экспозиция «Знаменитые земляки» (в нем рассказывается о Герое Социалистического Труда летчике-испытателе авиационной техники М. Попович, заслуженной артистке РФ А. Вершининой, других неординарных выходцах из этих мест). В историческом разделе особый интерес представляет экспозиция, рассказывающая о так называемом «Велижском деле» 1823–1835 гг. – крупном процессе, связанном с ложным обвинением евреев в совершении ими ритуальных убийств.
В первой половине XIX в. в России в течение двух десятилетий Велиж был у всех на слуху именно из-за «Велижского дела (события)» 1823 г. Тогда труп православного мальчика Емельяна Федорова был найден за этим городом, кровь у него была слита. Слухи поползли по городу и по всей России, говорили о том, что это очередное, но ставшее известным ритуальное убийство иудеями православного ребенка. Разговоры о подобных убийствах детей-христиан тогда год от года усиливались в России и зарубежной Европе. Император Николай I (1796–1855 гг.; правил с 1825 г.) был весьма озадачен этим, как и ростом неподконтрольного ему влияния евреев в экономике и политике России, чему он хотел положить конец. Для начала он решил разобраться в том, действительно ли евреи имели отношение к убийствам православных детей. Предлогом для обстоятельного выяснения этого вопроса как раз и послужило «Велижское дело». Николай I приказал министру внутренних дел представить ему доклад по «Велижскому делу» и по подобным происшествиям в Европе. «Велижское дело» стало истоком уникальной кампании, когда по инициативе Николая I
По приказу Николая I «Велижское дело» стали расследовать задним числом, т. е. не сразу, как произошло трагическое событие. Полиции удалось установить, что в убийстве православного мальчика участвовали 60 евреев-иудеев, из них после начавшейся шумихи 12 удалось скрыться, оставшихся 48 стали со временем допрашивать, пытаясь разобраться, почему и как все происходило. Рассмотрение «Велижского дела» длилось 18 лет, за это время менялись возглавлявшие и проводившие расследование люди, в том числе судьи, следователи. Результат рассмотрения «Велижского дела» был таким: всех подозреваемых в участии убийства мальчика евреев-иудеев от суда и следствия освободить, а свидетелей, доказчиц и родителей Емельяна Федорова сослать в Сибирь (по Иванову Ю.М., с. 88).