Шести лет Михаил Осипович был отдан в частное еврейское училище, откуда в 1877 году поступил в приготовительный класс Кишинёвской прогимназии, по окончании которой в 1883 году перешел в пятый класс гимназии, которую и окончил в 1887 году. Как еврей, Гершензон не мог поступить в русский университет, родители же хотели, чтобы он был инженером, и, подчиняясь их решению, не чувствуя ни малейшего призвания к этой специальности, Михаил Осипович принужден был поступить в 1887 г. в Берлинский политехникум. В Берлине же Гершензон посещал университетские лекции известных ученых: историка Трейчке, философа Целлера и других.
Пробыв в политехникуме два академических года и понимая, что инженера из него не выйдет, Гершензон, не предупредив родителей, весной 1889 г. взял свои бумаги из политехникума и вернулся в Кишинёв.
Осенью этого же года Михаил Осипович был принят на историческое отделение историко-филологического факультета Московского университета, где занимался главным образом у профессора всеобщей истории П. Г. Виноградова, у которого одно время был личным секретарем. В 1893 г. за сочинение «Афинская полития Аристотеля и жизнеописания Плутарха» Михаил Осипович получил золотую медаль. Как эта работа, так и другая – «Аристотель и Эфор», были изданы Московским университетом. Но статьи эти не были первым выступлением в печати Михаила Осиповича. В одной из его записных книжек есть такая запись: «Первые мои строки, которые были напечатаны – три строчки слова “Минг” (китайская династия) в “Настольном Энциклопедическом Словаре” Граната. Это было осенью 1893 года, вероятно, в октябре». В январской книжке «Русской Мысли» за 1894 г. появилась и первая оригинальная работа Михаила Осиповича – рецензия на первые три тома «Истории Западной Европы» и на «Философию культурной и социальной истории нового времени» Кареева.
По окончании весной 1894 г. университета Гершензон из-за еврейского происхождения не мог быть оставлен при университете. Не став, таким образом, цеховым ученым, никуда не поступив на службу, Михаил Осипович всецело посвятил себя литературной деятельности. Начав с рецензий сначала в «Русской Мысли», потом в «Русских Ведомостях», Гершензон перешел на статьи, но главным его заработком в первые годы по окончании университета были переводы. За это время Михаилом Осиповичем были переведены «Рассказы о греческих героях, составленные Нибуром для его сына» (собственное издание 1897 г), три тома «Всеобщей Истории» Лависса и Рамбо и «История Греции» Белоха (2 тома) в издании Солдатёнкова (1897–1899) и «Образование» Паульсена в издании Сабашниковых (1900). В последней книге Михаилом Осиповичем написано предисловие. Вообще в это время Гершензона интересуют вопросы образования и педагогики. В «Сборнике Педагогического Общества при Московском университете» (I, М., 1900 г.) напечатана статья его «Художественная литература и воспитание» по поводу книги Вольгаста, а в «Вопросах философии и психологии» (кн. LXI) – «Мысли двух философов о школе. В. Гумбольдт и Кондорсе».
В 1900-х годах начинают появляться в журналах статьи Михаила Осиповича историко-литературного характера – «Любовь Огарёва», «История одной дружбы», «Лирика Огарёва». Эти статьи и собрание стихотворений Огарёва (в 2-х томах) в издании Сабашниковых (1904 г.) сделали имя Гершензона известным широким кругам читающей публики, а книга о Чаадаеве (Гершензон. «П. Я. Чаадаев. Жизнь и мышление». Издание автора. М., 1908) и «История Молодой России» (изд. Сытина, 1908 г.), написанные с исключительным мастерством, окончательно установили за Михаилом Осиповичем репутацию вдумчивого исследователя, тонкого психолога и выдающегося стилиста.
В следовавших за этими книгах: «Исторические Записки» (1910), «Жизнь Печерина» (1910), «Образы прошлого» (1912), «Грибоедовская Москва» (1914) во всем блеске раскрывается талант покойного писателя. Исторические портреты деятелей литературы и культуры, воссоздание этих «образов прошлого» на основе впервые привлекаемых архивных материалов, их философски-художественная интерпретация – таков жанр работ Гершензона, жанр, в котором он достиг высокого мастерства.
Несмотря на то что журнальная работа никогда особенно не привлекала Михаила Осиповича, он в 1904 году состоял редактором литературного отдела «Научного Слова», затем был редактором отдела «Критического Обозрения», в 1907 году заведовал литературным отделом «Вестника Европы», в котором вел ежемесячные литературные обозрения, с конца 1912 до осени 1913 года писал в газете «Русская Молва» фельетоны под заглавием «На разные темы» (за подписью Junior) и сотрудничал в «Биржевых Ведомостях» и «Возрождении».