Родился в г. Черикове Могилевской губернии в семье белорусского крестьянина, позже — рабочего. Окончил приходское училище и высшее начальное училище (г. Чериков, 1914 г.), один курс семинарии (1915 г.). В 1915 — марте 1917 г. — делопроизводитель Чериковского уездного училищного совета, отдела народного образования земской управы. Избирается председателем уездного и городского Совета профессиональных союзов (октябрь 1917 г.), заведует отделом уездного исполкома. В сентябре 1918 г. стал членом РКП(б). 20.06.1919 г. добровольно вступает в Красную Армию, проходит Могилевские пехотные командные курсы, затем 2-е Московские комкурсы, после чего в составе 9-го стрелкового полка, будучи помкомроты и комроты, участвует в боях и походах на Западном фронте против польских войск; в составе 8-й и 17-й дивизий воюет под Борисовом, Полоцком, Бобруйском; против войск Юденича под Петроградом в районе Павловска и Детского Села. 24.10.1919 г. ранен пулей в левое бедро и 21 октября — контужен. После этого возвращается на родину, работает в местном комитете РКП(б), был председателем и ответственным секретарем Чериковского укома партии.
С 1921 г. начинается чекистский период его деятельности. Он становится членом коллегии Гомельской губЧК, заместителем председателя губЧК. С декабря 1922 г. работает в ряде пограничных особых отделений БССР. С августа 1923 г. — врид начальника 12-го погранотряда ОГПУ, затем помощник. начальника части пограничной охраны (ЧПО) полномочного представительства ОГПУ по Западному краю (по оперативно-разведывательной части) и вскоре становится заместителем начальника ЧПО и войск ГПУ ПП ОГПУ по Казахстану (1929–1930 гг.).
В разные годы жизни: от курсанта до начальника войск (из семейного альбома)
В дальнейшем география его пограничной службы значительно расширяется: Закавказье (начальник 37-го Батумского и 44-го Ленкоранского погранотрядов), Казахская ССР (помощник начальника и начальник УПО и войск ГПУ ПП ОГПУ по Казахстану, начальник УПВО УНКВД КазАССР). В 1934–1935 гг. начальник отдела ГУПВО НКВД СССР. В 1935–1938 гг. — начальник УПВО НКВД Ленинградской области. Одновременно со смещением Н. К. Кручинкина назначается начальником Главного управления пограничных и внутренних войск НКВД СССР (приказ НКВД СССР № 150 от 29.01.1938 г.). Он же назначен начальником пограничных и внутренних войск (приказ НКВД СССР № 413 от 20.02.1938 г.). Однако прокомандовал всего год. Аппараты главка и его периферийные управления были уже почти обезглавлены в результате репрессий. Оставалось раскассировать и сам главк. Но это было сделано без участия Ковалева.
У него была хорошая боевая биография. Участник Гражданской войны. Большой опыт оперативно-чекистской работы, знание пограничной и внутренней службы. Его боевой путь отмечен многими наградами.
Для сравнительно молодого, полного сил и энергии комдива, казалось, ничто не могло предвещать неприятностей. Только что выдвинут на высшую должность в войсках… Но в то время самым опасным для продолжения военной карьеры становились знакомство, дружба, продолжительная совместная служба с отстраненными от своих постов и арестованными людьми. Правда, основной шквал репрессий прошел и недавно назначенному комдиву вроде не было видимых оснований опасаться за свою судьбу, однако к своему 40-летию он получил неожиданный «подарок» — освобождение от должности. Формально все выглядело логично: 2 февраля 1939 г. СНК СССР принимает постановление о реорганизации войск, вместо одного главка создаются шесть (по видам деятельности). На роль общего начальника, координатора деятельности всех войсковых управлений, выдвинут в ранге замнаркома И. И. Масленников. Ковалеву в новой штатной расстановке руководящего состава главков места не нашлось. Ему даже не позволили провести ликвидацию главка. Этим занялся его помощник Г. Г. Соколов, назначенный и.о. начальника пограничных и внутренних войск, один месяц пробыв на этом посту.
13 мая 1939 г. Ковалев уволен в запас с направлением в распоряжение Управления кадров ЦК ВКП(б) (приказ НКВД СССР № 1192). Никакого решения о его дальнейшей судьбе не принимается. Он числится в запасе по Московскому военному округу с января 1941 г. и томится своим неопределенным положением. Последний год его жизни окутан тайной. Известно, что, когда началась война, он просил направить его на фронт. По версии, изложенной в справочнике «Кто руководил НКВД. 1934–1941», он покончил с собой: