Пробыв во Франции до конца 1722 года, Ганнибал в начале следующего возвратился в Петербург и сразу же назначен был на инженерные работы в Кронштадте, войдя в то же время в кружок лиц, группировавшихся около княгини А. П. Волконской и бывших противниками временщика Меньшикова. В феврале 1724 г. Ганнибал был определен в бомбардирскую роту Преображенского полка, причем ему поручено было, между прочим, учить молодых солдат из дворян математическим наукам; эти же науки он преподавал, уже по смерти императора, наследнику престола Петру Алексеевичу. Екатерина I и наследник благоволили к Ганнибалу, но всесильный Меньшиков, на другой же день по вступлении на престол Петра II, опасаясь влияния Ганнибала на юного царя, поспешил удалить Абрама Петрова из Петербурга. Он получил предписание ехать немедленно в Казань для осмотра тамошней крепости, оттуда ему было приказано ехать в Тобольск, из Тобольска – на китайскую границу к чрезвычайному посланнику графу Владиславичу-Рагузинскому, для постройки Селенгинской крепости. В январе 1728 г. он был в Иркутске, а затем в Тобольске, отпущенный с границы Владиславичем, не зная еще о происшедшем падении и ссылке Меньшикова. Друзья без успеха хлопотали о Ганнибале. 17 июля состоялось определение Верховного Тайного Совета об удержании Ганнибала на китайской границе, а 22 декабря 1729 г.
В семейственной жизни прадед мой Ганнибал так же был несщастлив, как и прадед Пушкин. Первая жена его, красавица, родом гречанка, родила ему белую дочь. Он с нею развелся и принудил ее постричься в Тихвинском монастыре, а дочь ее Поликсену оставил при себе, дал ей тщательное воспитание, богатое приданое, но никогда не пускал ее себе на глаза. Вторая жена его, Христина-Регина фон-Шеберх, вышла за него в бытность его в Ревеле обер-комендантом и родила ему множество черных детей обоего пола