В 1932 году Гальперин был призван на годичную военную службу, по возвращении до 1936 году работал в академии в отделе психологии. В это время он писал кандидатскую диссертацию на тему «Орудие и средство. Различие между орудиями человека и вспомогательными средствами животных» и защитил ее в 1936 году перед медицинским научным советом Психоневрологического института. Но диссертация была принята лишь в 1938 году, так как имела выраженную психологическую направленность. В этой работе впервые было показано четкое психологическое различие между двумя видами действий с предметами: если животные пользуются предметами как продолжением естественных частей тела, то человеческие орудия очень сложные, к ним рука должна приспособиться. До настоящего времени полный текст диссертации не опубликован.
После выхода в свет постановления ЦК ВКП(б) «О педологических извращениях в системе наркомпросов» (1936) Гальперин был вынужден перейти в психиатрическую клинику, на кафедру хронических болезней, где проработал до начала войны, занимаясь в основном психиатрией.
В 1942 году Харьков был оккупирован. Психоневрологический институт, превращенный в госпиталь, переехал в Тюмень. П.Я. Гальперин проработал здесь врачом до начала 1943 гда, когда по приглашению А.Н. Леонтьева переехал в свердловск, где Леонтьев создал реабилитационный центр для лечения двигательных нарушений, возникших в результате ранений. Петру Яковлевичу удалось доказать (работа была начата еще в Тюмени), что важным условием восстановления двигательной функции руки является ее включение в привычную профессиональную деятельность (например, плотника). Кроме того, он убедительно продемонстрировал, что выполнение действия в составе осмысленной деятельности также способствует возвращению движений. Например, больной оказывается не в состоянии просто поднять руку, но может это сделать, например, чтобы достать шляпу.
Осенью 1943 года П.Я. Гальперин приехал в Москву и стал работать доцентом кафедры психологии философского факультета МГУ. В конце 40-х – начале 50-х годов он провел исследования, которые позволили затем сформулировать гипотезу о поэтапном формировании умственных действий и понятий. Впервые о таком подходе Петр Яковлевич заявил в июле 1952 года, выступив в прениях на совещании по вопросам перестройки психологической науки на основе труда Сталина по вопросам языкознания. В июле 1953 года в Москве состоялось еще одно совещание по вопросам психологии, на котором Петр Яковлевич сделал доклад «Опыт изучения формирования умственных действий». С этого времени началась история теории поэтапного формирования (ТПФ) умственных действий.
Согласно данной теории умственное развитие есть результат переноса внешних материальных действий в план восприятия, представлений и понятий. Процесс переноса осуществляется через ряд этапов, на каждом из которых происходит новое воспроизведение действия и его системные преобразования. Петр Яковлевич выделил основные свойства – параметры действия, представления о которых менялись с получением новых экспериментальных фактов и теоретических обобщений. Изменение действий по уровням, по мнению ученого, составляет основу движения по этапам. На первом формируется мотивационная основа, на втором – ориентировочная, от особенностей которой и зависит качество формируемого действия. далее начинается отработка действия. Сначала это происходит в материальной (или материализованной) форме, затем в громкоречевой: ребенок вслух повторяет содержание ориентировочной схемы. После этого постепенно исчезает внешняя сторона речи – действие осуществляется во «внешней речи про себя» и, наконец, речевой процесс уходит из сознания – действие выполняется во «внутренней речи».
Одним из ключевых понятий ТПФ является понятие ориентировки. Петр Яковлевич выделил три типа ориентировочной деятельности и соответственно три этапа учения.
Первый тип характерен для традиционного обучения, второй – для хорошего традиционного, третий – вооружает таким методом исследования, что ребенок оказывается в состоянии самостоятельно решать частные задачи. Три типа имеют разный развивающий коэффициент. Если первый и второй не влияют, по мнению Гальперина, на умственное развитие, то в третьем ярко выступает эффект общего развития. Этот тип обучения дает ребенку четкие средства различения и оценки внутреннего строения и свойств объектов, порождает сильнейший интерес к их изучению; позволяет по-новому подойти к проблеме возрастных возможностей детей, в частности, дошкольников.
Данные теоретические положения легли в основу докторской диссертации, которую Петр Яковлевич защитил в 1965 году, а в 1966 году ему было присвоено звание профессора. С 1971 года П.Я. Гальперин – заведующий кафедрой возрастной психологии факультета психологии МГУ, с 1984 года – профессор-консультант. В 1980 году ему было присвоено звание заслуженного деятеля науки РСФСР.