Вынужденный прервать свое востоковедное образование, Ковалевский в том же 1918 г. поступает в Харьковский университет, который он окончил в 1921 г. по разряду романо-германских литератур. Затем следуют преподавание немецкого и французского языков в средней школе (1921–1922 гг.), аспирантура по истории украинской культуры (1922–1924 гг.), чтение лекций по истории литературы в Харьковском институте народного образования (1924–1926 гг.) при одновременном заведовании издательством, работа в научно-исследовательской кафедре украинской культуры в Институте материальной культуры (Харьков, 1924–1933 гг.). Казалось бы, путь выбран, перспектива очерчена. Однако еще в начале своей деятельности германист и украиновед выступает инициатором создания в Харькове, тогдашней столице Советской Украины, курсов восточных языков, где он возглавил учебную часть. С 1930 по 1933 г. он, одновременно с работой по прямой специальности, научный сотрудник Харьковского Института востоковедения, следующий год застает его на посту старшего библиотекаря восточного отдела библиотеки имени Короленко.
Дилетантство? Широкая, но поверхностная увлеченность? Нет, о востоковедных работах Ковалевского, появляющихся в десятилетие 1925–1935 гг. рядом с его «Историей украинской критики» и «Опытом марксистского исследования „Фата Моргана“ Коцюбинского», — таких работах, как «Амин Рейхани. Исследование творчества», «Просветительская политика в современной египетской школе», «Описание восточных рукописей Харьковского университета», обзор политических событий на арабском Востоке, рецензия на перевод «1001 ночи» М. А. Салье и на изыскания П. К. Жузе по научной терминологии арабов, — строгий и нелицеприятный Игнатий Юлианович Крачковский скажет: «остроумный подход и тщательная проработка материала», «умелая работа по описанию рукописей». Исследование Ковалевского «Политика просвещения современного египетского правительства» характеризуется Игнатием Юлиановичем как «самое полное в европейской литературе». Такую оценку из уст одного из крупнейших ориенталистов нашего века мог получить лишь тот, кто был рожден арабистом и оставался им и тогда, когда основное время ему приходилось посвящать далеким от востоковедения работам.
Арабистические интересы, все более зрелые и отчетливые, настоятельно влекли Ковалевского в Ленинград, где в сени строгой филологической школы Розена и Крачковского его дарование могло раскрыться до конца. В 1934 г. он стал сотрудником Государственного музея этнографии, а через год переступил порог Арабского кабинета Института востоковедения.
Здесь Андрей Петрович сразу взял в свои руки один из самых актуальных участков работы: изучение арабских источников по истории народов СССР. Это — сочинения средневековых географов и путешественников: Масуди, о достоверности данных которого для восточноевропейских территорий Андрей Петрович поставил вопрос впервые в науке, затем Гарнати, Ибрахима ибн Якуба, Абу Дуляфа. Более всего, однако, нового сотрудника увлекла работа над текстом Ибн Фадлана о путешествии из Багдада на Волгу в 921 году, которому он посвятит будущую докторскую диссертацию. Почему? «Среди писателей девятого и десятого веков, писавших о нашей стране, — отмечает он в предисловии к своему исследованию, — нет равного Ибн Фадлану. Его сочинение, отличающееся широтой охвата всего виденного, яркостью описания, соединенной с большой наблюдательностью, живым интересом к вопросам социальных отношений, быта, материальной культуры и верований, привлекало внимание исследователей уже более ста лет тому назад, когда оно было известно лишь в отрывочных выписках… Тем более возросло его значение как исторического источника после получения в 1935 году Академией наук фотографии открытой в Мешхеде рукописи более или менее полного его текста».
И далее:
«Критический перевод сочинения Ибн Фадлана и углубленное его изучение весьма важны также потому, что уже более ста лет богатейший материал его рассказов играет выдающуюся роль в идеологической борьбе, развернувшейся вокруг вопросов этногенеза народов нашей страны и истории их культуры».
В этих словах — весь Ковалевский, ученый-новатор, исходивший из того, что наука — не самоцель, что она призвана служить жизни. Это он в 1948 году, единственный среди арабистов, осмелится сказать о главе дореволюционной арабистической школы перед лицом преданных этой школе подчас до фанатизма: Розен велик, но во многом нам чужд. Книгу, посвященную его памяти, следовало выпустить с расчетом не только на специалистов, но и на широкие круги советских читателей, которым нужно доходчивым языком объяснить всю сложность и противоречивость этой натуры.