Родился 16 апреля 1895 г. в Санкт-Петербурге, в семье мелкого служащего. Отец работал конторщиком, затем рабочим в типографии. Мать — домохозяйка, умерла в 1926 г. Образование среднее, окончил гимназию в Петербурге.
В Февральскую революцию — на фронте, в царской армии служил в артиллерии. В Октябрьскую революцию — в армии, активного участия в революции не принимал. Сочувствовал коммунистам, три раза пытался вступить в ряды компартии, но из-за стажа не принят.
С февраля по май 1918 г. работал в банке. В апреле 1919 г. призван в действующую армию, направлен в Эстляндскую армию, оставлен при штабе.
В дальнейшем на различных должностях в Красной армии, в декабре 1924 г. переведен в штаб Западного фронта, где служил в учебно-строевом отделе управления связи, став затем его начальником.
С 1925 по 1931 гг. — в частях военного собаководства, до 1928 года — начальник окружного питомника-школы военно-спортивных собак БелВО. С 1928 по 1931 гг. — начальник Центральной школы военного собаководства (Кусково).
Старый кадровый высококультурный офицер, Александр Павлович, как и его предшественник, вступил на малоизученную дорогу военного собаководства из любви к этому новому делу, он прошел курс при Центральной школе еще при Н. З. Евтушенко, а потом возглавил окружную школу в Белорусском военном округе.
Он оказался не только хорошим организатором, но и методистом по своей новой специальности, с большим вкусом к научно-исследовательской работе. Его перу принадлежат следующие работы: «Руководство по содержанию и дрессировке служебных собак», «Подготовка и служба собак в РККА», «Памятка вожатому военных собак».
Именно при нем с 18 мая 1931 г. Центральная школа была преобразована в 15-й Научно-исследовательский кинологический институт РККА. Это преобразование подняло работу школы на более высокую ступень и именно на данном этапе подчеркивало важность научной и исследовательской работы в области собаководства.
Большое внимание А. П. Немцов уделял и постановке учебного дела в школе. Именно при нем были привлечены к работе в школе профессора Климов, Михайлов, Боровский и многие другие. Квалифицированные курсы, читавшиеся этими учеными, поднимали учебную работу на очень высокую ступень, прививали курсантам вкус к специальным дисциплинам и расширяли их кругозор.
Обладая большим личным авторитетом, Александр Павлович настойчиво внедрял в сознание и быт курсантов понятие долга, офицерской чести и культуры. Он умел, по отзывам сослуживцев, не только поставить работу, но и показать ее, где и когда это было нужно. При нем школа принимает еще более активное участие в выставках и состязаниях, организует общие сборы собаководов, работающих в частях, а также предпринимает ряд дальних экспедиций.
Выступая на одном из вводных занятий перед курсантами — слушателями Центральной школы, он сказал: