В 1606 году монастырь пострадал от литовского нашествия и только в 1617 году был восстановлен. В 1623 году он получил грамоту на земли и угодья. В 1687 году монастырь был приписан к новгородскому архиерейскому дому. В «Писцовой книге» города Торжка и посада о достатках монастыря сказано следующее: «В монастыре дворы нетяглые, двор конюшенной, да двор коровий, да двор дьячков, да место пусто, а жил на том месте солодовник Микифорко Ермолин; пашни монастырской в поле пятнадцать четь - земля худа».
Кроме того, до 1722 года монастырю принадлежала деревня Прутенка.
В 1764 году монастырь был обращен в приходскую Николо-Пустынскую кладбищенскую церковь. В 1813 году на месте бывшей деревянной церкви построена каменная. Невдалеке находился семейный склеп Пожарских, в котором была похоронена и известная Дарья Пожарская.
На одной из могил кладбища сохранился памятник с любопытной надписью: «Здесь покоится прах Николая Евгеньевича Онегина, родившегося в 1840 году и умершего в 1910 году». Это говорит о том, что в 20 - 30 годах XIX века в Торжке жил Евгений Онегин, отец покойного. Портной и владелец небольшой булочной, он не имел никакого отношения к замечательному произведению великого русского поэта.
В 1910 году в Пустыни около кладбищенской ограды на небольшой глубине был найден клад: 275 серебряных монет времен Михаила Федоровича Романова.
На окраине Пустынской слободы находился небольшой кабачок. В обеденный перерыв около него всегда было людно и шумно. Бурлаки, грузчики, крючники, лоцманы и коноводы, расположившись на пологом склоне берега, выпивали, закусывали и отдыхали. В 1898 году августовской ночью во время грозы кабачок сгорел, но за местом, где он находился, до сих пор сохранилось название Кабачок.
Соминка
- старинная улица на левом берегу Тверды. Ее возникновение связано с судоходством. По реке перевозились грузы на разных судах, в том числе и на соминках - больших лодках длиной 10 - 12 метров, шириной 3 метра и высотой 1,5 метра. Грузоподъемность их колебалась от 1 500 до 3 000 пудов. Строили соминки из деревянных брусков, конопатили паклей и смолили. Делали их, как правило, зимой, а весной после ледохода спускали на воду.На месте нынешней улицы зимой бывал сухой док, где ремонтировали соминки. По берегу Тверцы недалеко от дока стояли маленькие деревянные домики, построенные из леса от забракованных или изношенных судов. В этих домиках жили плотники - строители соминок. Поэтому и образовавшаяся со временем улица стала называться Соминкой. Кроме соминок по берегам Тверцы строили и другие суда - ново-торки.
С развитием судоходства увеличивался спрос на суда. В 1863 году на воду было спущено уже 100 новоторок и соминок.
Лучшими мастерами считались крестьяне-плотники Осуйской волости. Четыре плотника строили барку три месяца и получали за всю работу 45 рублей. Полностью оборудованная барка - с мачтами, веслами, рулем, причалами и т. п. - обходилась владельцу в 190 - 225 рублей. После того как барку приводили в Петербург и разгружали, ее продавали за 50 - 60 рублей на дрова.
Вшивая гора,
вернее же холм, расположена на левом берегу Тверцы и отделена от бывшей Ямской слободы глубоким оврагом. Холм имеет форму клина, острием направленного на юг, в строну города. Западный склон покат в сторону реки. Высота холма (17 метров над уровнем реки) равна высоте городского земляного вала. С вершины его открывается панорама Торжка.Когда за холмом укрепилось название Вшивый - неизвестно. Но встречается оно на фотоснимках, сделанных в 1867 году. Связано такое название, скорее всего, с судоходством. Вверх по Тверце суда редко шли в одиночку, обычно они поднимались караваном в пять или больше судов. Перед рождественскими порогами суда пришвартовывали к берегу - перед трудным переходом надо было отдохнуть людям и лошадям. Отдыхая, коноводы просматривали, стирали белье. Это и дало горожанам повод считать место привала коноводов «вшивым». Они обходили его стороной.
Здесь же на холме находился и сухой док, где ремонтировали суда. На противоположном берегу в небольшом заливе был затон, куда их на зиму ставили.
Каменная стенка
- памятник Петровской эпохи, он находится почти в центре города, около железнодорожной водокачки.Стенка вытянулась вдоль левого берега Тверды почти на четверть километра. Строилась она по указанию Петра I как часть целого комплекса гидросооружений на Тверце, предназначенных для улучшения условий судоходства по Вышневолоцкой водной системе. Стенка в Торжке должна была укрепить и защитить заболоченный левый берег от размыва и создать благоприятные условия для прохода лошадей, тянувших суда.
Пока Тверца имела транспортное значение, каменная стенка находилась под постоянным наблюдением начальника 1-го участка вышневолоцкого сектора водного пути, ее регулярно ремонтировали, поддерживали в хорошем состоянии. Стенка была выложена обтесанными гранитными блоками и имела небольшой уклон к узкой площадке над водой. По площадке можно было свободно прогуливаться.