Сам Ганнибал написал книгу об инженерном искусстве и составил мемуары на французском языке. Умирая, он оставил не только поместья, крепостных и формуляр с высокими чинами, но и многотомное книгохранилище, ценное собрание физических и механических инструментов, а главное – благодарную память о своей научной деятельности: известный мемуарист XVIII века Болотов отметил в своих записках «прекрасную геометрию и фортификацию Ганнибала». Это имя, очевидно, приобрело авторитетную репутацию не только в правительственных и военных кругах, но и в среде молодого поколения, стремящегося к знанию.
Жестокая школа жизни, пройденная Ибрагимом, сообщила некоторую суровость его характеру. Это в полной мере сказалось в его семейном быту.
В конце 1730 года в Петербурге Ганнибал встретился с красавицей девушкой, как полагают, гречанкой, дочерью капитана галерного флота Евдокией Андреевной Диопер. Ганнибал попросил ее руки и настоял на браке, несмотря на протесты красавицы. Обвенчавшись в начале 1731 года, он увез жену в маленький порт Пернов (в бухте Рижского залива). Вскоре он обвинил молодую женщину в намерении отравить его и «смертельными побоями и пытками» принудил ее дать об этом официальное показание. Несчастную заключили в тюрьму, а властный абиссинец сошелся с дочерью местного капитана Христиной Региной Шеберг, от которой имел нескольких детей. Когда пришла пора отдавать их в учение, Ганнибал обвенчался с Христиной и, пользуясь своими связями, добился убийственного приговора для первой жены, все еще томившейся в заключении: «Гонять прелюбодеицу по городу лозами, а прогнавши, отослать на прядильный двор на работу вечно». Пожизненное заключение ее могло бы узаконить второй брак Ганнибала. Но Евдокии Андреевне каким-то чудом удается вырваться в Петербург и подать челобитную в Синод. Ее освобождают на поруки, а дело поступает на новое рассмотрение. Затравленная женщина, живя в Петербурге, сходится с подмастерьем Академии наук и рождает дочь Агриппину; она послужила источником легенды о белом ребенке, рожденном женою Ибрагима, за что преступная мать была замучена в монастыре, – предание, волновавшее творческое воображение правнука. «Часто думал я об этом ужасном семейственном романе», – писал Пушкин в наброске предисловия к «Арапу Петра Великого».
Появление ребенка дает Ганнибалу основание ходатайствовать перед петербургской консисторией, чтобы «оная прелюбодеица долее не называлась его женой». 9 сентября 1753 года Евдокия была признана разведенной со своим мужем и осуждена на заточение в дальний монастырь, где и скончалась. Сам Ганнибал отделался епитимией и денежным штрафом за двоеженство; брак его с Христиной Шеберг был утвержден.
Такой благоприятный для него исход процесс объясняется тем, что в царствование Елизаветы Петровны любимец ее отца вошел в силу, пользовался большим влиянием и был щедро обласкан императрицей. Он получил звание генерал-майора, должность ревельского коменданта, пятьсот душ в Псковской губернии Опочецкого уезда, в «Михайловской губе», где его потомство долгое время хранило родовые земли и память о «прадеде-арапе».
С окончанием бракоразводного процесса сыновья Ганнибала получили, наконец, возможность поступить в дворянские корпуса и служить в гвардии и флоте. Старший – Иван Абрамович – стал историческим героем и заслужил от своего внучатного племянника хвалебный стих: «Вот Наваринский Ганнибал!» В 1770 году, после большой десантной операции и пятнадцатидневной осады, Иван Ганнибал взял в архипелаге крепость Наварин. Во время битвы в Хиосском заливе, 24 июня 1770 года, он командовал артиллерией эскадры и взорвал весь турецкий флот, укрывшийся в Чесменской бухте. Вскоре он доказал, что может не только истреблять фрегаты, но и сооружать цитадели. В 1778 году ему было поручено построить крепость Херсон на месте устаревшего небольшого укрепления Александр-Шанца. Через три года на месте глухой «фортеции» аннинского времени раскинулся большой город с военной гаванью, адмиралтейством, верфью и арсеналом.
Но далеко не всем Ганнибалам удалось проявить такую героическую активность. Младший брат победоносного «бригадира», получивший от отца имя Януарий, а от матери – Иосиф, вошел в историю лишь в качестве родного деда знаменитого поэта.
Этот Иосиф-Януарий, или в просторечии Осип Абрамович Ганнибал, отличался пылким и своенравным характером. Его считали «сорвиголовой» и «ужасом семьи». В 1773 году в чине майора морской артиллерии он был послан в Липецк осмотреть чугунные заводы, устроенные Петром I для отливки пушек Черноморскому флоту. В двух десятках верст от Липецка находилось село Покровское, имение капитана в отставке Алексея Федоровича Пушкина и его жены Софьи Юрьевны, рожденной Ржевской. Осип Абрамович стал бывать у покровских помещиков, посватался к их восемнадцатилетней дочери Марии Алексеевне и вскоре женился на ней.