«После смерти Петра Великого судьба его переменилась. Меншиков, опасаясь его влияния на императора Петра II, нашел способ удалить его от двора. Ганибал был переименован в майоры тобольского гарнизона и послан в Сибирь с препоручением измерить Китайскую стену. Ганибал пробыл там несколько времени, соскучился и самовольно возвратился в Петербург, узнав о паденьи Меншикова и надеясь на покровительство князей Долгоруких, с которыми был он связан. Судьба Долгоруких известна. Миних спас Ганибала, отправя его тайно в Ревельскую деревню, где и жил он около десяти лет в поминутном беспокойстве. До самой кончины своей он не мог без трепета слышать звон колокольчика», — описывает поэт жизненные перипетии прадеда.
Пушкина всегда влекла полная загадок и приключений, взлетов и гонений необычайная судьба его темнокожего предка. Один из недругов поэта, Фаддей Булгарин, думая унизить Пушкина, напечатал в «Северной пчеле» следующий опус: «…Рассказывают анекдот, что какой-то поэт в Испанской Америке, также подражатель Байрона, происходя от мулата или, не помню, от мулатки, стал доказывать, что один из предков его был негритянский принц. В ратуше города доискались, что в старину был процесс между шкипером и его помощником за этого негра, которого каждый из них хотел присвоить, и что шкипер доказывал, что он купил негра за бутылку рому!»
Пушкин дал своему «биографу» замечательную стихотворную отповедь:
«Подчеркивать пренебрежение к своему происхождению — черта смешная в выскочке и низкая в дворянине», — заметил как-то поэт. Честь рода, честь фамилии ценились им превыше всех жизненных благ и интересов.
Но не один лишь Булгарин-Фиглярин пытался унизить имя знаменитого арапа. И в книге Георга фон Гельбига, секретаря Саксонского посольства в Петербурге в конце XVIII столетия, приводились сведения, порочащие честь царского крестника. Все эти злобные выпады и заставили Пушкина в 1830 году взяться за перо: «В одной газете (почти официальной) сказано было, что прадед мой Абрам Петрович Ганнибал, крестник и воспитанник Петра Великого, наперсник его (как видно из собственноручного письма Екатерины II), отец Ганнибала, покорившего Наварин (см. памятник, воздвигнутый в Царском Селе гр. Ф. Г. Орлову), генерал-аншеф и проч. — был куплен шкипером за бутылку рому. Прадед мой, если был куплен, то, вероятно, дешево, но достался он шкиперу, коего имя всякой русской произносит с уважением и не всуе. Простительно выходцу не любить ни русских, ни России, ни истории ее, ни славы ее. Но не похвально ему за русскую ласку марать грязью священные страницы наших летописей, поносить лучших сограждан и, не довольствуясь современниками, издеваться над гробами праотцев».
Итак, после смерти Петра I многое изменилось для Ганнибала. В мае 1727 года по указу князя Меншикова, не питавшего нежных чувств к Петрову любимцу, Ганнибалу было предписано «ехать немедленно в Казань и… тамошнюю крепость осмотреть и каким образом ее починить или вновь запотребно рассудить, сделать цитадель, тому учинить план и проект».
Через 25 дней последовало новое назначение — в Тобольск, для возведения крепости, затем еще одно — строить Селенгинскую крепость на китайской границе. В книге Н. К. Телетовой «Забытые родственные связи А. С. Пушкина» приводится выписка за 1727 год из Иркутской летописи о том, что «в декабре прибыл из Тобольска лейб-гвардии бомбардирской роты поручик Абрам Петров, арап Ганнибал, для строения Селенгинской крепости». В этом документе времен сибирской ссылки Абрам Петрович впервые назван Ганнибалом; ранее подписывался он Петровым.
В начале января 1730 года по указу Верховного тайного совета Ганнибал подвергся аресту, в доме его произведен был обыск (Абрама Петровича считали причастным к делу княгини Волконской, подозреваемой в дворцовых интригах), а сам он под конвоем отправлен в Томск.
Неожиданно обстоятельства резко изменились. В ночь на 19 января 1730 года, накануне своей свадьбы с княжной Екатериной Долгоруковой, умер от оспы четырнадцатилетний император Петр II. На престол вступила Анна Иоанновна, племянница Петра I. По ее указу от 25 февраля, Ганнибалу надлежало «быть в Тобольском гарнизоне майором… оттуда (из Томска) его возвратить и из-за караула освободить… И буде которые письма от него отобраны, те ему возвратить».