Страдали крестьяне не только от жестокой эксплуатации, но и от произвола помещиков, от полнейшего бесправия. Сохранившиеся воспоминания современников, описывающие крепостную деревню Смоленщины незадолго до крестьянской реформы, не затрагивают, к сожалению, непосредственно гжатской деревни, но ярко рисуют жизнь крепостных в других, соседних уездах, совершенно ничем не отличавшихся в этом смысле от Гжатского уезда. Недаром почти все авторы мемуаров говорят, что картины тяжелой крепостной жизни не были свойственны только тем местам, в которых они проживали, а они были повсеместным явлением в губернии. Особенно следует отметить мемуары Е. Н. Водовозовой, записки декабриста И. Д. Якушкина, путевые заметки о Смоленской губернии другого декабриста — Ф. Н. Глинки, М. С. Николевой и др. {Водовозова Е. Н. На заре жизни, ч. I и II, М., 1934; Якушкин И. Д. Записки, М., 1926; Глинка Ф. Н. Письма Русского офицера, ч. 2, 1815; Николева М. С. Черты старинного дворянского быта, «Русский архив», кн. 10, 1893.}
Все они рассказывают о многочисленных «неистовых поступках помещиков», по выражению Якушкина, то есть об открытой продаже крепостных, о проигрывании их в карты, о произвольной ссылке в Сибирь, о сдаче в рекруты, которые служили в армии по 25 лет и в сущности навсегда отрывались от родного очага.
Все современники обращают внимание на постоянные избиения и истязания крестьян. Пороли и били крестьян даже самые «добрые» помещики, не считая это за дикость и насилие.
«...Во всех гостиных (наших помещиков), — пишет в своих воспоминаниях смоленская помещица Е. Н. Водовозова, — непрестанно рассказывают о том, как какой-то помещик за проступок одного крестьянина выдрал всех мужиков и баб своего фольварка от старика-деда до пятилетней внучки», «...крепостных наказывали за каждый проступок: давали подзатыльники, драли за волосы, за уши, толкали, колотили, стегали плеткой, секли розгами...»
Бывали случаи, и нередко, когда крестьяне, подвергшиеся телесным наказаниям, умирали и почти никто из помещиков не нес за это наказания, так как произвол и беззаконие, творившиеся в помещичьих имениях, покрывались местными и столичными чиновниками.
Е. Н. Водовозова в своих мемуарах пишет, что мелкие чиновники полицейского и судебного ведомств «были обычными гостями помещиков», хотя на людей подобной категории помещики «смотрели свысока». Чиновники поэтому «покрывали их произвол над крестьянами, очень часто переходивший дозволенное даже в те жестокие времена» {Водовозова Е. Н. На заре жизни. М., 1934, т. 1, стр. 167.}.
До крайности тягостны и унизительны были для крестьян «помещичьи гаремы», когда развратные помещики принуждали сожительствовать с ними крестьянских женщин и девушек или требовали права первой ночи.
«Многие помещики наши, — замечает Е. Н. Водовозова, —весьма изрядные развратники: кроме законных жен, имеют наложниц из крепостных, устраивают у себя грязные дебоши...» {Водовозова Е. Н. На заре жизни, 1934, изд. Академии наук, стр. 219.}.
Крестьяне боролись против помещичьего гнета до самого падения крепостного права. Борьба эта принимала различные формы. Крестьяне писали на помещиков жалобы, убегали в другие места, нередко убивали помещиков, сжигали помещичьи имения (особенно в 1848 году, когда в уезде сожжено было несколько имений), коллективно, деревней, отказывались от выполнения барщины и от платежа оброка, а в отдельных случаях открыто восставали не только против помещиков, но и против местных властей.
В 1815 году объявили открытый протест против непомерно выросшего оброка, а также против произвола вотчинной администрации крестьяне графа Шереметева. Они категорически отказались платить оброк. К возмутившимся крестьянам были приняты срочные меры. Решением Гжатского суда они были отправлены на работу в Смоленский приказ общественного призрения {Рябков Г. Т. Развитие капиталистических отношений в крепостном хозяйстве в конце XVIII - первой трети XIX в. Диссертация.}.
В 1817—1818 годах поднялись против злоупотреблений властей (незаконных поборов, присвоения средств, отпущенных разоренным войной крестьянам) удельные крестьяне Златоустовской и Клушинской волостей {Рябков Г. Т. Развитие капиталистических отношений в крепостном хозяйстве в конце XVIII - первой трети XIX в. Диссертация.}.