"Одной из центральных концепций схемы трансляции БЕТА, — как пишет И. В. Поттосин, — является концепция внутреннего языка. Исследования по внутреннему языку в проекте БЕТА составили заметную часть общемировых исследований, которые ввели понятие внутреннего языка, внутреннего представления программы как фундаментальное для методологии построения большого числа различных языковых процессоров — трансляторов, анализаторов свойств, систем преобразований программ и др. В системе БЕТА внутренний язык выступает в трех качествах — как семантический базис входных языков, как основа для оптимизирующих преобразований на его уровне, как исходное представление для генерации объектного кода на различных ЭВМ".
В 60—70-е годы А. П. Ершов, наряду с решением проблем автоматизации программирования, много внимания уделяет в своих работах вопросам теоретического программирования (первая статья об операторных алгоритмах была опубликована еще в 1958 году). Его работы 1967–1973 годов оказали большое влияние на развитие теоретического программирования. В них был сформулирован ряд проблем теории схем программ, сопоставлены различные направления и модели этой теории, выработана общая система понятий и связаны воедино разнообразные результаты и их применения, иначе говоря, создан фундамент теории схем программ как цельного направления теоретического программирования.
Если теория схем программ имела дело с таким исследуемым и моделируемым объектом, как программа, то в дальнейшей деятельности по теории программирования А. П. Ершов делает следующий шаг, заключающийся в том, что предметом исследований служит процесс работы над программой. Начало этому новому направлению было положено А. П. Ершовым в опубликованной в 1977 году статье "О сущности трансляции". В этой и последующих статьях он сформулировал понятие смешанного вычисления — как фундаментальный принцип системного программирования, определяющий в тех или иных аспектах функционирование процессоров обработки программ.
В 80-х годах А. П. Ершов публикует ряд работ, посвященных проблемам вычислимости, которые также примыкают к теоретическому программированию. В фундаментальной работе 1982 года "Вычислимость в произвольных областях и базисах" проводится глубокий анализ большого числа определений вычислимости, сложившихся в указанных областях, их сопоставление и оценка вклада в общую теорию.
Одной из важных заслуг Ершова перед отечественной и мировой компьютерной наукой является то, что он умел оценить текущее состояние этой науки и наметить те реальные точки роста и перспективы исследований, которые будут определять ее развитие. Так, во второй половине 60-х годов он одним из первых в стране осознал те новые возможности общения с ЭВМ, которые создают системы разделения времени. В 1966 году он организует работы по автоматическим информационным станциям (проект АИСТ). Проект АИСТ, создателем и руководителем которого был А. П. Ершов, объединял широкий круг исследований по архитектуре вычислительных систем. В рамках этого проекта была создана первая в стране развитая система разделения времени АИСТ-0. Реализованная как многомашинный комплекс из отечественных ЭВМ, эта система была во многом пионерской и внесла большой вклад в развитие отечественных работ по архитектуре ЭВМ и операционным системам, которые, к сожалению, были в дальнейшем свернуты из-за ориентации на копирование зарубежных разработок.
С конца 70-х годов и до конца своей жизни А. П. Ершов большое внимание уделял проблемам обучения программированию. Так, в статье 1976 года под названием "Откуда берутся люди, способные создавать надежное программное обеспечение" он изложил план подготовки системных программистов в вузах. Этот план был результатом его многолетней преподавательской деятельности на механико-математическом факультете Новосибирского университета, где он читал общие курсы по программированию и руководил организацией обучения специалистов по системному и теоретическому программированию.
В дальнейшей деятельности интерес А. П. Ершова привлекло обучение информатике и программированию в школе. Поняв принципиальную важность информатики для страны, А. П. Ершов отдал этому делу последний десяток лет и большую долю своей энергии. А. П. Ершов был одним из создателей так называемой школьной информатики, признанным ее лидером. В написанной вместе с Г. А. Звенигородским и Ю. А. Первиным в 1979 году работе "Школьная информатика (концепции, состояние, перспективы)" он определил развитие этого направления вплоть до наших дней. А. П. Ершов был одним из авторов и редактором первого школьного курса информатики, а также методического пособия по этому курсу. В 1988 году, незадолго до его смерти, появился новый учебник по информатике, одним из авторов и редактором которого он являлся. Он организовал телевизионный курс по этому предмету, руководил созданием школьных систем программирования и школьного программного обеспечения вообще, вел большую организационную работу.