В октябре 1941 года немцы заняли Харьков. Как здесь остался Мещанинов, не совсем понятно. Он к этому моменту руководил военным госпиталем, оперировал каждый день раненых солдат. Вроде бы эвакуация была назначена на последний момент, но холодногорский мост оказался разрушен, и коллектив госпиталя (развернувшегося на базе 9-й больницы) остался в городе. Александр Иванович собрал подчиненных и объявил, что немцев непременно из Харькова выставят, а пока задача врачей исполнять свой долг.
Вскоре на территории больницы появились первые представители «нового порядка». Доктора сумели убедить их, что на территории больницы находятся только гражданские лица. Более того — многие из них больны сыпным тифом, а потому лучше бы здесь никому не появляться. Через некоторое время Мещанинову удалось договориться с немецкой администрацией о том, что его лечебница останется официальной городской гражданской больницей. Начался героический период полулегального положения больницы Мещанинова. Здесь хирург и его коллектив стали тайно лечить попадавших к ним бойцов Красной Армии, в то время как за такие вещи полагался расстрел. (О чем сообщали объявления на всех столбах.) Немцы время от времени появлялись в палатах, спрашивали о том или ином больном. Врачи и сестры прибегали к самым разным ухищрениям, чтобы скрыть военную принадлежность пациентов, например, бинтовали головы наголо остриженным солдатам.
Большие трудности больница испытывала с продовольствием, одеждой, матрацами. В один из дней пожилой главврач надел поверх пальто халат с красным крестом, выкатил тачку и пошел на местный базар. Он просил людей пожертвовать немного еды для больных. Мещанинова в районе очень хорошо знали, многим он помог в мирное время, и теперь они помогали больнице. Такие выходы продолжались каждый базарный день, а потом жители окрестностей стали сами приходить и приносить еду и одежду. Вокруг больницы образовался женский кружок, который возглавила жена хирурга — Наталья Александровна. Они ходили по домам, просили о поддержке, перешивали и чинили старые вещи, готовили. Дочери же Александра Ивановича Елизавета (Вета) и Мария (Мара) работали в больнице, Вета — заведующей лабораторией (по профессии она была биологом), Мара — врачом (ее основная медицинская специальность — травматология). Навсегда вписали свои имена в историю города сотрудники 9-й больницы: Центилович, Радионова, Делевский, Никитинская, Обухов, Воротынцев.
Александр Иванович в своей подпольной деятельности пошел еще дальше. Неподалеку от его больницы немцы устроили большой концентрационный лагерь. Люди здесь содержались в нечеловеческих условиях, каждый день из лагеря вывозили более ста трупов. Мещанинов с дочерью Елизаветой, которая знала немецкий язык, отправился к начальнику лагеря и выразил свой протест против нарушения в лагере всех возможных международных конвенций. Он попросил отправлять к нему больных заключенных. Начальник согласился. Скорее всего, конечно, не благодаря «авторитету всемирно известного ученого», а по своим сугубо практическим соображениям. Во-первых, кто знает, какими именно путями в нацистской Германии можно было восходить по карьерной лестнице. Одни пытались восхитить начальство беспримерным рвением, выражавшимся в жестокости. Другие хотели проявить себя как люди, умеющие договариваться с местным, покоренным населением, а к тому же — проявить практическую сметку. Не зря же Мещанинов намекнул немцу на то, что вылеченные заключенные смогут лучше работать на рейх.
Вскоре в больницу прибыла первая партия больных из концлагеря, а с ними и назначенный начальником лагерного медпункта красноармеец Константин Седов. Вот с ним-то вместе Александр Иванович и наладил механизм спасения военнопленных. На базе 7-й поликлиники было развернуто новое отделение на 150 коек. Очень многие больные из лагеря стали «умирать» у Мещанинова. Документы об этом шли к немцам, а сами бойцы снабжались фальшивыми паспортами (помог харьковчанин, работавший в городской канцелярии), гражданской одеждой и тайно выводились из больницы. Многие из них вернулись в свои части. Дело дошло до того, что немцы, наконец, перевели госпиталь для военнопленных в другое здание, огородили его колючей проволокой, а самого Мещанинова не допустили к работе. (Остается только гадать, как и почему он остался жив. Пишут, опять же, о том, что немцы не посмели расправиться со знаменитым хирургом.) Но и в новом помещении побеги продолжались — помогала одна из сотрудниц Мещанинова, оказавшаяся на новом месте, В. Никитинская. В конце концов один из врачей был расстрелян прямо в ординаторской.
Врачи же 9-й больницы из пожертвованных им вещей и еды стали выделять часть для поддержки старых, нуждающихся жителей Холодной горы. Александр Иванович спас несколько человек от вывоза на работу в Германию — ставил им «безнадежный диагноз» и клал «на операцию».