Его имя хорошо известно зарубежным коллегам, его книги переведены на многие языки. Однако теоретическое наследие изучено недостаточно. До сих пор не написана биография. Это обусловлено рядом жизненных обстоятельств: многочисленные переезды мешали сохранению семейных архивов.
Петр Яковлевич Гальперин родился в 1902 году в Тамбове. Его отец Яков Абрамович Гальперин в то время был уездным врачом-отоларингологом, впоследствии он стал известным нейрохирургом. Мать София Моисеевна Маргулис была дочерью купца первой гильдии и вышла замуж за сына типографского рабочего вопреки воле родителей. В 1911 году семья переехала в Харьков, где маленький Петя пошел учиться в единственную в России гимназию с совместным обучением мальчиков и девочек. В той же гимназии в том же классе училась и Тамара Израилевна Меерзон, впоследствии жена Петра Яковлевича. По воспоминаниям сестры Полины Яковлевны Слободской, брат рос живым и озорным мальчиком. Однажды на школьной переменке он так бесился и танцевал на крыше погреба, что провалился прямо в бочку со сметаной.
Самое сильное переживание детства связано с трагической гибелью матери: ее сбила машина на глазах у сына (по разным сведениям, ему в то время было 12 или 15 лет). Петр Яковлевич вспоминал, как в детстве любил сидеть рядом с матерью и распутывать нитки для вязания. Впоследствии он говорил о поисках нити Ариадны, когда предстояло найти ответ на вопрос о происхождении психологических явлений. Можно предположить, что Петр Яковлевич видел двойной смысл этого выражения, мысленно возвращаясь в далекие детские годы. После смерти матери в дом вошла сотрудница отца операционная сестра Анна Ивановна, которая благодаря своей доброте смогла стать детям второй матерью.
Петр Яковлевич, по его воспоминаниям, много болел, точного диагноза поставить не могли, но предполагали туберкулез кишечника. Выздоровление наступило неожиданно и необъяснимо. Во время болезни он прочитал много книг по философии и психологии из отцовской библиотеки.
Отец был высокообразованным человеком, с уважением относился к знаниям. Достаточно привести такой пример: в течение двух лет в их семье жил профессор Столпнер, который, будучи почти слепым, первым перевел на русский язык Гегеля. Именно в те юношеские годы у Петра Яковлевича появилось желание найти метод, с помощью которого можно объективно исследовать человеческое мышление. Эту идею как путеводный принцип он сохранил в течение всей жизни.
Когда пришло время определиться в выборе профессии, а это были первые послереволюционные годы, отец посоветовал ему заняться медициной. С 1921 (по другим данным, с 1920-го) по 1926 год Петр Яковлевич обучался в харьковском медицинском институте и получил квалификацию врача-психоневролога.
Начиная с 3-го курса Гальперин посещал неврологическую клинику профессора Платонова, который увлекался проблемами гипноза. Первая научная работа и первая публикация будущего ученого была посвящена влиянию гипноза на пищеварительные лейкоциты. В 1926 году он начал работать в амбулаторном лечебном центре для наркоманов. Обследуя больных, пришел к выводу, что в основе наркомании лежит нарушение процессов метаболизма, которые можно восстановить с помощью яда.
С 1928 года Петр Яковлевич стал работать в психоневрологической лаборатории, которая там же, как и клиника наркомании, была частью психоневрологического института. В 1930 году он совместно с другими сотрудниками пытался объединить Психоневрологический институт с психиатрической клиникой, чтобы основать Всеукраинскую психоневрологическую академию. Хотя официальное учреждение академии так и не состоялось, она стала приглашать в Харьков специалистов из других городов. Именно с этого времени Петр Яковлевич вплотную занялся психологическими исследованиями. Вначале он работал с А.Р. Лурией, но в 1931 году присоединился к харьковской психологической группе, возглавляемой А.Н. Леонтьевым. В состав группы входили Л.И. Божович, А.В. Запорожец, Н.А. Морозова, Р.Е. Левина, Л.С. Славина. Хотя Петр Яковлевич говорил о большом значении для него встречи с А.Н. Леонтьевым, можно предположить, что все эти люди, ставшие впоследствии известными психологами, а в то время просто влюбленные в психологию, оказывали сильное взаимное влияние друг на друга.
Работая в составе харьковской группы, в 30-е годы Петр Яковлевич пытался обоснованно доказать недопустимость сведения психологии к павловской теории высшей нервной деятельности. В Харькове он несколько раз виделся с Л.С. Выготским (Выготский умер в 1934 году), а впоследствии назвал его «действительно гениальным человеком, единственным в истории советской и русской психологии».