Появившись в альманахе «Шиповник», повесть «Пятая язва» сразу же привлекла к себе внимание критики. Большинство рецензентов самых разных направлений восприняли ее как обобщающее произведение о России, сопоставимое с повестями Горького и Бунина. Так, например, В. Львов-Рогачевский отмечал: «Перед вами – новый „городок Окуров“ или Студенец, а в нем – новый Кожемякин – следователь Бобров, летописец Студенца и всей России. Только летопись Кожемякина была написана слезами любви, а „временник“ Боброва написан желчью ненависти» (Современный мир. 1912. № 11. С. 362). Нововременский автор А. Бурнакин, фактически написавший не рецензию, а памфлет на Ремизова и его произведение, бичевал «Пятую язву» как «повесть, в которой обличается провинция, <…> оплевывается Россия <…> Было это, было. Сначала „Мелкий бес“, потом „Городок Окуров“, потом „Деревня“» (Новое время. 1912. № 13212. 21 дек. С. 5). Вычленив главную тему произведения, критики, в основном, не поняли его художественной целостности, глубокой взаимосвязи между судьбой города Студенца (символа России) и трагедией главного героя. Образ Боброва истолковывался по-разному: как символ интеллигенции, «разочаровавшейся» в революции (В. Боцяновский. – БВ. 1913. № 13341. 11 янв. веч. вып. С. 5); как воплощение «всей оппозиции русской» (С. Любош. – Современное слово. 1912. № 1728. 28 окт. С. 2–3); как тип идеалиста, потерпевшего крах при столкновении с действительностью (В. Голиков. – Вестник знания. 1913. № 2. С. 235) и т. п. При этом многие критики сочли сюжет о Боброве одним (подчас даже излишним) эпизодом из серии историй о жизни студенецких обывателей. Причиной непонимания было то, что большинство рецензентов прикладывали к повести мерки старой реалистической литературы, не учитывали специфику художественного метода писателя. Отмечалась близость ремизовской манеры к традициям Гоголя, Достоевского, но зачастую это расценивалось как подражательность: «Это странная, необычная повесть – дикая смесь Достоевского с Гоголем» (Л. Мович. – За 7 дней. 1912. № 49. С. 2164); Ремизова «хоть кипятком, хоть холодной водой, а он знай свое: хочу быть Гоголем, да и баста» (А. Бурнакин. – Новое время. 1912. № 13212. 21 дек. С. 5). Более тонкие критики (например, Е. Колтоновская. – Новый журнал для всех. 1912. № 12. С. 100) расценивали эту преемственность как типологическое сходство писательской индивидуальности.
Почти никто из рецензентов не отметил использования в повести традиций древнерусской литературы, существенных для понимания произведения. На них указали только А. Измайлов и П. Щеголев, хорошо знавшие увлечение Ремизова древней книжностью. Измайлов подчеркнул присутствие в повести пласта древнерусской литературы, но увидел ее влияние лишь на язык произведения. Он писал, что Ремизов «любит книгу и написанное слово не только в содержании их, во внутреннем существовании, а даже во внешности. Любит эти дубовые дщицы, восковые застывшие капли, киноварную букву, начинающую сказание, полууставный завиток рукописи. <…> По этой черте почти совсем одиноко стоит фигура его среди собратий <…> Тихонько прячется он в своем уголке, сидит за древней книгой, пересыпая ее прекрасные самоцветные слова» (Русское слово. 1912. № 260. 10 ноября. С. 5). Щеголев проследил влияние древнерусской литературы на формирование ие только языка, но и художественной структуры повести. Он отмечал, что «дело, в конце концов, не в Студенце и не в Боброве. Разорение русской земли – вот истинная тема А. Ремизова, и самой повести его пристало бы название „Плача о погибели русского народа“. Сам А. Ремизов очень напоминает тех старцев и книжников, которые в старину в одиночестве своих келий описывали разорение родной земли и обращали свой „Плач о погибели“ к своим соотечественникам» (День. 1912. № 26. 27 окт. С. 6). Наиболее адекватной по пониманию критиком авторского замысла была рецензия Р. В. Иванова-Разумника. Как упоминалось, в процессе работы над повестью Ремизов находился в постоянном контакте с критиком. Иванов-Разумник внимательно проследил в своей рецензии развитие мотива Суда и особо остановился на проблеме трагической отделенности героя от своего народа. Он был единственным критиком, кто осмыслил финал повести, как катарсис: «Так всегда совершается трагедия – рост души человеческой; от формальной правды, от идеи законности следователь Бобров должен перейти, перестрадав, к высшей человеческой правде, к любви человеческой. <…> Он умер победителем над самим собою; <…> умер, став человеком и приняв страдания человеческие» (Заветы. 1912. № 8. Отд. II. С. 48).