Несмотря на то что в семье Жаровых никто из родителей не имел отношения к искусству, детей они старались воспитывать гармонично. По выходным вывозили отдыхать сына Мишу и дочь Лидию в Сокольники и на Воробьёвы горы, посещали с ними цирковые представления и выставки. В театр не водили, поскольку это было дорого, а денег у Жаровых всегда было в обрез. Однако и этих походов вполне хватило, чтобы дети Жаровых выросли образованными людьми: Михаил станет актёром, а Лидия — художником-костюмером на «Мосфильме».
Театром Жаров увлёкся в детстве, когда по воскресеньям стал посещать благотворительные показы спектаклей в знаменитом Театре Корша. За короткое время он пересмотрел там многие постановки; «Недоросля», «Ревизора», «Двенадцатую ночь», «Двух сироток» и другие спектакли. Однако об актёрской профессии тогда ещё не помышлял, поскольку надо было помогать отцу зарабатывать на пропитание. Поэтому, окончив высшее городское училище, Жаров устроился учеником наборщика в типолитографию Бахмана. Как было записано в его расчётной книжке: «Пятьдесят копеек в день на харчах отца».
Между тем, как ни трудна была жизнь, но всё свободное время Жаров посвящал самообразованию. Ходил на лекции в епархиальный дом в Лиховом переулке, затем стал слушателем народного университета Шанявского. Однако в 16 лет Жаров случайно попал в массовку спектакля «Капитанская дочка» в театре Зимина, что на Большой Дмитровке, и окончательно решил, что станет артистом. Он записался в театр бессловесным статистом, гонорар которого составлял всего лишь несколько копеек. И целых два года тянул эту унизительную лямку. Тогда же впервые снялся в кино: в фильме «Царь Иван Васильевич Грозный» сыграл крохотную роль молодого опричника (кстати, роль царя в нём сыграл Фёдор Шаляпин).
Осенью 1916 года Жаров решает идти учиться на актёра. Он пробовал поступить сразу в несколько театральных училищ, в том числе при Малом театре и МХАТе, но ни в одно из них не попал. В итоге ему пришлось вернуться в Театр Зимина всё в ту же бессловесную массовку.
В феврале 1917 года Жаров попадает в водоворот революционных событий и на время забывает о театре: записывается милиционером в народную дружину. Участвует в разоружении городовых, охраняет Государственную Думу. Однако потом в дело вмешивается мама Жарова, которая запирает сына под «домашний арест». После чего Жаров уходит из милиционеров и возвращается в Театр Зимина, но не в качестве актёра, а в роли режиссёра-администратора. Именно там его и застали события октября 17-го.
В те дни в Москве было по-настоящему жарко — шли бои между большевиками и представителями законной власти, Жаров выбрал сторону первых и записался добровольцем в дружину, которая стояла заставой в Камергерском переулке. Но длилось это недолго: в первую же ночь застава вступила в бой с противником и Жаров оказался в самом пекле побоища. Именно тогда он впервые в жизни увидел, как убивают людей. Это произвело на него такое сильное впечатление, что Жаров после этого слёг и три дня провалялся в горячке. И в дружину больше не вернулся.
В 1918 году Жаров стал студентом Театра-студии художественно-просветительского союза рабочих организаций. Но через год руководитель студии Фёдор Комиссаржевский уехал в Англию, и его детище было закрыто. После этого Жаров записывается в Передвижной фронтовой театр, где едва не умирает. Но не от шальной пули какого-нибудь белогвардейца, а от тифа, который свирепствовал в те годы по всей России. В течение девяти дней Жаров валялся в беспамятстве и был на волосок от смерти. Но судьба оказалась к нему благосклонна: он выздоровел.
Жаров вернулся в Москву и поступил в труппу Театра имени Сафонова. Играл почти каждый день: Тринкуло в «Буре» Шекспира, Лепорелло в «Каменном госте» Пушкина, в комедиях Мольера. Однако, несмотря на столь плотную занятость, жил Жаров в ту пору небогато: актёрские ставки были небольшими. Поэтому, когда в стране наступил нэп, Жаров стал параллельно выступать по ночам в частном кабаре «Не рыдай!», которое помещалось в двухэтажном флигеле в Каретном Ряду, близ сада «Эрмитаж». Он пел там куплеты, читал скетчи-диалоги.
В начале 20-х Жаров поступил в Театр РСФСР-1 под руководством Всеволода Мейерхольда, где сразу же стал получать главные роли. Однако спустя пять лет Жарову стало неуютно в этом театре и он уезжает в провинцию: три года играет в Баку, затем один сезон в Казани. На рубеже 30-х Жаров возвращается в Москву и поступает в Реалистический театр. А потом семь лет играет у Таирова в Камерном театре. Именно тогда к нему и приходит слава. Правда, не в театре (там она придёт к нему чуть позже, когда он сыграет Алексея в «Оптимистической трагедии» в паре с гениальной Алисой Коонен), а благодаря «великому звуковому» — кинематографу.