Его отец (тоже Максим Максимович), полковник, участник Отечественной войны 1812 года, в течение двадцати пяти лет был предводителем дворян Харьковского уезда и фактически исполнял обязанности предводителя Харьковского губернского дворянства. Он отличался независимым нравом, считал службу при царском дворе ниже своего достоинства. Вполне в его духе был отказ от предложения представить его в камергеры. Максим Максимович был умен, красив, пользовался успехом у дам и женился уже пожилым человеком на молоденькой девушке на двадцать пять лет себя младше. Воспитание сына всецело взяла на себя мать, Екатерина Игнатьевна, так как отец был слишком занят делами по общественной службе и управлению хозяйством в имении. Судьба Ковалевского сложилась так, что ему не удалось создать собственную семью. На всю жизнь он сохранил горячую любовь к своей матери, женщине умной, необыкновенно сердечной, с развитым вкусом. Она была поклонницей оперного искусства, театра, ценительницей живописи, знатоком французской литературы. Именно матери, как считал сам Ковалевский, он был обязан удачным выбором первых книг для чтения, рано развившимся в нем интересом к истории и этнографии. До четырнадцати лет Ковалевский получал домашнее образование, затем поступил в пятый класс 3-й Харьковской гимназии. По окончании ее с золотой медалью в 1868 году он стал студентом юридического факультета Харьковского университета.
1860–1870-е годы в России были временем острых политических диспутов между сторонниками различных взглядов на обновление жизни. В студенческую пору Ковалевский – член кружка во главе с Е.Н. Солнцевой, занимавшегося культурно-просветительской работой, пропагандой идей мирного постепенного прогресса. В значительной мере на мировоззрении Ковалевского сказалось его увлечение работами Г. Спенсера, О. Конта, Дж. Милля, изучение истории социальных идей, особенно теории «критического социализма» Прудона, согласно которой изменения в общественном строе должны происходить не путем насильственного переворота, а в результате постепенного изменения нравственных понятий людей, развития человеческой солидарности («взаимности», по Прудону). «Свобода», «равенство», «взаимность» – эти принципы, сформулированные Ковалевским в юности, определяли его взгляды и деятельность на протяжении всей дальнейшей жизни. На склоне лет Ковалевский с улыбкой вспоминал свой юношеский порыв, когда, желая дать внешнее выражение своим мыслям, заказал себе печать с выгравированными на ней тремя дорогими ему словами.
Многое в судьбе Ковалевского определила встреча с профессором Харьковского университета Д.И. Каченовским: «Это человек, зародивший во мне первые семена политического свободомыслия, давший мне первые сведения о конституционных порядках западноевропейских стран, вызвавший во мне желание посвятить себя проповеди тех начал гражданской свободы, местного самоуправления, народного представительства и судебной ответственности всех органов власти от высших до низших, исторический рост которых он так умело излагал в своих лекциях об английской конституции».
В 1872 году, по окончании университета, Ковалевский был оставлен для подготовки к магистерскому экзамену по государственному и международному праву. Вплоть до 1876 года он продолжал образование в Берлине, Париже, Лондоне, Вене. Сфера его интересов в этот период включала в себя конституционное право, историю французских и английских государственных учреждений, историю политических учений, первобытную культуру, этнографию.
Разнообразие исследовательской тематики объяснялось масштабностью замысла молодого ученого. Он поставил перед собой цель выяснить происхождение и проследить эволюцию основных общественных учреждений и институтов, различных форм общественного сознания и отношений (община, семья, собственность, государство, право, религия, мораль и т. д.), а также определить закономерности и специфику перехода различных народов к гражданскому обществу и правовому государству. Реализуя данный проект на протяжении последующих лет, Ковалевский по сути создал собственную социологическую систему – «генетическую социологию». В ее основании – идея многофакторности общественных процессов, широкое применение историко-сравнительного метода при изучении законов социальной эволюции, особый интерес к такому явлению, как «коллективная психология».
Юношеское увлечение идеей развития человеческой солидарности переросло в стойкое убеждение, основанное на результатах научного анализа: общественное развитие ведет к постепенному углублению солидарности во взаимодействии между народами и социальными группами. Наглядным примером этой закономерности, по Ковалевскому, служит экономическая эволюция: переход от «хозяйства орды и племени» к «национальному хозяйству», а в будущем установление «всемирного хозяйства».