Мехлис дважды назначался на пост заместителя наркома — оба раза неожиданно для себя, хотя армейская служба началась для него еще в 1911 году, когд его призвали в царскую армию (подробно биографию Мехлиса рассказал Юрий Рубцов в книге «Alter ego Сталина»). Его зачислили рядовым во 2-ю гренадерскую артиллерийскую бригаду, через год произвели в бомбардиры (ефрейторы). С началом Первой мировой он оказался на Юго-Западном фронте.
После революции он присоединился к большевикам, вступил в Красную армию. Энергия, решительность и личная храбрость не остались незамеченными. Его назначили комиссаром запасной маршевой бригады, затем 46-й дивизии. Он сам вставал в цепь вместе с бойцами, поднимая их в атаку. Пулям не кланялся ни тогда, ни позже.
В апреле 1920 года он был ранен. После ранения три месяца служил в реввоенсовете Юго-Западного фронта. Членом реввоенсовета был Сталин. Тогда будущий вождь и приметил человека, которого вскоре сделает своим помощником.
В декабре 1920 года Мехлиса демобилизовали и откомандировали в распоряжение ЦК партии. 3 января 1921 года управляющий делами Совнаркома Николай Петрович Горбунов назначил Мехлиса начальником канцелярии правительства. Горбунов знал Мехлиса, поскольку некоторое время руководил политотделом 14-й армии. А в ноябре Сталин забрал Мехлиса к себе в Наркомат рабоче-крестьянской инспекции. Лев Захарович руководил центральной административной инспекцией, то есть проверял работу главных учреждений страны.
Сталин ценил ревностное отношение Мехлиса к работе и заботился о нем. 17 июля 1925 года написал записку главе правительства Рыкову и секретарю ЦК Молотову:
«Прошу Вас обоих устроить Мехлиса в Мухалатку или другой благоустроенный санаторий, не обращайте внимания на протесты Мехлиса, он меня не слушает, он должен послушать Вас, жду ответа».
В ноябре 1922 года Сталин взял Мехлиса в свой личный секретариат. Лев Захарович стал одним из доверенных помощников генерального секретаря. Через год новое повышение — Мехлиса утвердили первым помощником генсека и заведующим бюро секретариата ЦК. В его руках оказалась вся канцелярия важнейшего партийного органа, ведавшего в первую очередь расстановкой кадров. Он же отвечал за подготовку материалов к заседаниям политбюро.
В январе 1926 года Мехлис ушел из ЦК на курсы марксизма при Коммунистической академии, затем поступил в Институт красной профессуры. Одни историки говорят об опале, другие, напротив, полагают, что Сталин отправил его учиться с дальним прицелом — имея в виду назначить на важные идеологические должности...
Сейчас трудно сказать, что именно произошло. Сталинского расположения Мехлис не утратил, но место среди помощников вождя потерял. Вождь периодически менял аппарат. До Мехлиса на главной роли был Амаяк Назаретян, после Мехлиса — Иван Товстуха, его, в свою очередь, сменил Александр Поскребышев, который оказался самым подходящим для этой работы и надолго засел в сталинской приемной.
В Институте красной профессуры Мехлис проучился четыре года. Кстати, в 1935 году ему без защиты диссертации Коммунистическая академия присвоила степень доктора экономических наук.
С мая 1930 года Мехлис работал в «Правде», главной газете страны, сначала секретарем редакции, потом был произведен в главные редакторы. Он поражал всех своей работоспособностью. Часами просиживал над рукописями и гранками, прочитывал весь номер от корки до корки, прежде чем он уходил в печать. Домой уезжал под утро.
В 1934 году Сталин сделал его кандидатом в члены ЦК, в октябре 1937-го произвел в члены ЦК. 4 сентября его утвердили по совместительству заведующим отделом печати и издательств ЦК партии. Но через четыре месяца его жизнь внезапно изменилась.
30 декабря 1937 года решением политбюро Мехлис был возвращен в кадры армии. Его назначили заместителем наркома обороны и начальником политического управления РККА, присвоили звание армейского комиссара 2-го ранга.
14 января 1938 года на пленуме ЦК Сталин ввел Мехлиса в состав оргбюро ЦК, занимавшегося кадровыми делами.
Мехлис возглавил политическое управление армии с задачей довести до конца большую чистку армии. Он выполнил сталинское указание с присущим ему рвением и даже фанатизмом. Многие военные были изгнаны из армии и оказались в ГУЛАГе по вине Мехлиса.
Летом 1938 года заместитель наркома выехал на Дальний Восток, где на гастролях находился Краснознаменный ансамбль песни и пляски.
Мехлис телеграфировал в Москву:
«В ансамбле тяжелое положение. Прихожу к заключению: в ансамбле орудует шпионско-диверсионная группа. Уволил на месте девятнадцать человек. Веду следствие. В составе есть бывшие офицеры, дети кулаков, антисоветские элементы...»
Он миловал только тех, кого знал и ценил.
Хорошо его знавший бывший редактор «Красной звезды» генерал-майор Давид Иосифович Ортенберг (см. его книгу «Сталин, Щербаков, Мехлис и другие») рассказал, как уже после войны Мехлис отмечал юбилей Министерства госконтроля.