Несколько месяцев спустя, в самом начале 1938 г., его сделали начальником Политического управления Красной армии и заместителем народного комиссара обороны СССР. На XVIII съезде партии он выступил с речью, которая полностью характеризовала его политическую позицию. В частности, прозвучала знаковая фраза: «Врагов и изменников будем уничтожать, как бешеных собак». Именно под его непосредственным руководством была осуществлена чистка военных кадров, которую он провел на Дальнем Востоке.
Однако сам Мехлис никогда не был кабинетным работником и во всех вооруженных конфликтах принимал личное участие. В 1940 г. ему был поручен Народный комиссариат государственного контроля СССР. Когда началась Великая Отечественная война, его опять переводят в армию. Свою службу он снова начал с репрессий: сперва расправился со всем командованием Западного фронта, в том числе и с генералом Д. Г. Павловым. Не удивительно, что многие именно с Мехлисом связывали объявление наших пленных солдат «врагами народа».
В 1942 г. его перевели в Крым. Этот полуостров сразу же после начала Великой Отечественной войны стал занимать в планах фашистских захватчиков важное место.
В свою очередь, советское командование понимало, что располагающиеся на полуострове вражеские войска смогут представлять собой непосредственную угрозу фланговой и тыловой частям группы армий «Юг»; к тому же Крым позволял установить тотальное господство в водах Черного моря. Именно поэтому борьба за эти территории началась с первых дней Великой Отечественной войны и проходила с переменным успехом.
Сложилась достаточно непростая ситуация. Для того чтобы укрепить руководство фронтом, Ставка Верховного Главнокомандования приняла решение о направлении в Крым своего полномочного представителя Л. З. Мехлиса.
После своего приезда в действующую армию он в течение всего 2 дней смог оценить всю тяжесть сложившейся ситуации, о чем не замедлил доложить Сталину. Ознакомившись с положением дел, Мехлис объявил приказ, в котором указывались фамилии командиров, чьи действия привели в итоге к сложившейся ситуации, к потере личного состава и отступлению. Все они впоследствии попали под военный трибунал.
Для привлечения пристального внимания к сложившейся ситуации Мехлис издал по всему фронту приказы, в которых командиры обязывались устранить все имевшиеся недочеты в течение 2 дней.
Лев Захарович продолжал действовать в свойственной ему манере – напористо и энергично, он в полной мере использовал свои возможности как заместителя народного комиссара обороны, так и представителя Ставки Верховного Главнокомандования. Все усилия Мехлиса были направлены на то, чтобы как можно быстрее организовать наступление советских войск в Крыму. Именно для этого его направил сюда Сталин.
За те два месяца, которые Мехлис провел на Крымском фронте, ему не удалось сколь-нибудь значительно изменить обстановку на этом направлении. Он полагался главным образом на численность войск и на энтузиазм солдат. При этом недостаточно внимания уделял тщательной подготовке наступательных операций. У него это заменялось энергичным нажимом или приказом, зачастую он необоснованно менял командные и политические кадры.
Крымский фронт вскоре был признан одним из наиболее значимых, однако подготовка его с целью осуществления наступательных операций практически не проводилась. Ставка возлагала большие надежды на Мехлиса, но особых успехов ему пока не удалось добиться.
Окончание сражений на Крымском фронте пришлось на 8 – 21 мая 1942 г. Это событие получило название Керченской оборонительной операции.