Ровно через год после съёмок Юткевич приглашает Бернеса в свой новый фильм — «Человек с ружьём», где ему вновь достаётся эпизод, однако на этот раз его персонаж герой положительный — молодой красноармеец. Роль по сценарию выглядела несложной, однако Бернес решил подойти к её исполнению творчески. В течение нескольких дней перед началом съёмок он не вылезал из Музея революции, пытаясь найти среди фотоэкспонатов музея образ нужного ему молодого красноармейца. И в конце концов нашёл — молодого вихрастого паренька, перепоясанного крест-накрест пулемётными лентами. Однако чего-то его экранному герою всё-таки не хватало. Но чего? Бернес этого и сам пока толком не знал. Но стал копаться в актёрском реквизите и внезапно наткнулся на старенькую гармонь. Так была найдена ещё одна важная деталь. А затем на свет родилась и песня: второй режиссёр фильма Павел Арманд сочинил нехитрую песенку «Тучи над городом встали», которую герой Бернеса — Костя Жигулёв — и запел с экрана. Когда фильм снимался, никто из участников съёмок и предположить не мог, что эта песня в исполнении Бернеса вскоре станет народным шлягером. Так после фильма «Человек с ружьём» 26-летний М. Бернес стал знаменит.
В 1938 году успех Бернеса в мире кино закрепляет режиссёр Эдуард Пенцлин: он не только приглашает актёра на главную роль в свой фильм «Истребители», но и делает его героя — лётчика Сергея Кожухарова — поющим. Песня «В далёкий край товарищ улетает» (композитор Н. Богословский) туг же становится шлягером. Фильм занимает 1-е место в прокате 1940 года, собрав на своих сеансах 27,1 млн. зрителей.
Ещё одним лидером проката того года был фильм Леонида Лукова «Большая жизнь» (1-я серия), который, заняв 6-е место, собрал 18,6 млн. зрителей. В этом фильме Бернес сыграл одну из главных ролей — инженера Петухова. Поначалу режиссёр пробовал актёра на другую роль — Вани Курского, надеясь, что Бернес потянет на этого героя. Однако переиграть природное обаяние Петра Алейникова Бернесу так и не удалось, и роль ему не досталась. Впрочем, оно и к лучшему.
Свою вторую и, как оказалось, последнюю главную роль в кино Бернес сыграл во время войны. Это была роль Аркадия Дзюбина в фильме всё того же Лукова «Два бойца». Однако съёмки в этой картине были для актёра отнюдь не лёгкими.
Из двух главных героев фильма к началу съёмок режиссёр окончательно определился только с одним — Сашу с Уралмаша должен был играть Борис Андреев. А вот на роль Дзюбина претендовали сразу двое: Пётр Алейников и Николай Крючков. Однако какие-то сомнения у режиссёра были. Видимо, ему хотелось, чтобы рядом с Андреевым был актёр из другой компании, иначе зритель воспринял бы эту картину как продолжение «Трактористов». Поэтому в конце концов от услуг Крючкова и Алейникова решено было отказаться, и роль досталась Бернесу. Вспоминает кинооператор А. Кричевский: «В 42-м году со снятым на фронте материалом я приехал на несколько дней в Москву. Интерес Марка к фронтовой жизни, к моим рассказам о съёмках солдат был на этот раз поглощающим. Он готовился к роли Аркадия Дзюбина. Его интересовало всё, вплоть до того, подшивают ли солдаты на фронте подворотнички к гимнастёркам (чего я не замечал и на чём настаивали консультанты фильма)».
Между тем едва начался съёмочный процесс, как режиссёр фильма понял, что роль Бернесу не даётся. Быстро овладев одесским говором (научился от одного балаклавца, который лежал в ташкентском госпитале), он никак не мог войти в образ настоящего одессита. Прошло уже полтора месяца, а дело так и не сдвигалось с мёртвой точки. Лукову настоятельно советовали заменить Бернеса на другого актёра, но он медлил. И, как оказалось, был прав. Актёр всё-таки сумел войти в образ, нашёл точные, вдохновенные краски. Во многом ему помог случай. Например, внешность своего героя он нашёл в обычной парикмахерской. В тот день молодая и неопытная ученица обкорнала его почти «под ноль», но увидевший его Луков внезапно воскликнул: «Это как раз то, что надо!»
Так же случайно появилась в фильме и песня «Тёмная ночь». Вот что вспоминает об этом композитор Н. Богословский:
«В фильме никакие песни поначалу не планировались, должна была звучать только оркестровая музыка. Но как-то поздно вечером пришёл ко мне режиссёр картины Леонид Луков и сказал: „Понимаешь, никак у меня не получается сцена в землянке без песни“. И так поразительно поставил, точно, по-актёрски сыграл эту не существующую ещё песню, что произошло чудо. Я сел к роялю и сыграл без единой остановки всю мелодию „Тёмной ночи“. Это со мной было первый (и, очевидно, последний) раз в жизни… Поэт В. Агатов, приехавший мгновенно по просьбе Лукова, здесь же очень быстро почти без помарок написал стихи на уже готовую музыку.