В 1914 году А. И. Мещанинов по конкурсу был избран главным врачом и заведующим хирургическим отделением Холодногорской больницы в Харькове. Под его руководством больница быстро расширилась и превратилась в показательное учреждение, которым он и руководил почти 30 лет. За эти годы на базе больницы была организована возглавляемая им хирургическая клиника Харьковского института усовершенствования врачей, в которой повысили свою квалификацию свыше 2000 хирургов.
Холодногорокая больница по своему окраинному местоположению обслуживала преимущественно рабочее и крестьянское население Харьковщины. Благодаря своей доступности и сердечной отзывчивости А. И. Мещанинов прочно завоевал доверие и любовь трудящихся: его называли «народным врачом», «народным профессором». Неудивительно, что и в тяжелую годину военного бедствия авторитет всеми уважаемого доктора был непререкаем.
Ко времени занятия Харькова гитлеровцами Холодно-горская больница была переполнена тяжело раненными красноармейцами. Эвакуировать их не удалось. Предвидя жестокую расправу фашистов над оставшимися на его попечении бойцами, Мещанинов приказал сжечь все принадлежавшее им обмундирование и заново зарегистрировать их в больничных книгах как гражданских лиц, пострадавших при бомбардировках города. Кроме того, на входных дверях больницы была сделана предупредительная надпись «Тиф».
Эта всегда пугавшая оккупантов надпись, а также независимое, полное врачебного достоинства поведение профессора, занятого оказанием помощи тяжелораненому, произвели такое впечатление на ворвавшегося в операционную с пистолетом в руке фашистского офицера, что больница и ее обитатели остались нетронутыми.
Оградив до известной степени своих пациентов от угрозы физического уничтожения, А. И. Мещанинов и весь персонал больницы должны были проявить максимум усилий, чтобы не дать им погибнуть от голода. После того как были исчерпаны все ресурсы больницы и личные возможности персонала, пришлось прибегнуть к помощи некоторых местных жителей. Они вместе с медработниками собирали продукты для госпиталя, «тайно, остерегаясь предателей, варили нехитрые супы, борщи из свеклы и кукурузной крупы, пекли лепешки, собирали одежду, стирали белье, выискивали в степи за Харьковом мерзлые овощи...» В одном из оврагов была обнаружена застреленная лошадь — из нее стали варить мясную похлебку.
Персонал больницы заботился и о моральном состоянии раненых. «Нашли припрятанный в сарае радиоприемник, начали записывать сводки Совинформбюро и распространять их по палатам, дополняя сведениями о деятельности местных партизан. Это подымало дух раненых».