Брак Сергея Львовича, с точки зрения его родных, был малоподходящим. Надежда Осиповна не была богата, над репутацией ее семьи тяготела память о скандальном процессе двоеженца-отца, род Ганнибалов не отличался ни древностью, ни знатностью. Питомцы петровской школы, деятели императорского периода русской истории, они были известны в России XVIII века как военные инженеры, руководители работ по обороне государства, артиллеристы и полководцы. Это были строители крепостей на дальних окраинах и водители флотов под южными широтами. Такой активностью определялись их тревожные и авантюрные биографии: когда Пушкины оказывались виновными перед правительством, их заключали в казематы; Ганнибалов в таких случаях сажали на военные корабли и отправляли воевать в Средиземное море. И они выполняли приказы и добывали трофеи, ибо были людьми напряженного и стремительного действия. Это были крупные и своеобразные личности, наделенные большой энергией и сильными страстями, умевшие строить свою жизнь, бороться с противными течениями и побеждать обстоятельства. Эти люди с властными характерами и героическими судьбами не оставили своих записок потомству, но они завещали свои исторические образы, как драгоценное достояние, будущему правнуку-поэту.
Дед Надежды Осиповны, абиссинец Ибрагим, ставший в России генерал-аншефом Абрамом Петровичем Ганнибалом, прожил жизнь беспримерную по фантастическим переломам и счастливой игре случайностей. Судьба бросала его с африканских плоскогорий в забайкальские степи, с побережий Босфора в Москву, из новорожденного Петербурга во французские военные академии, из пышного Парижа Людовика XIV на театр войны. Он успел проявить себя как царский секретарь, как участник знаменитых сражений, как военный математик, придворный педагог, строитель крепостей и директор каналов. Его выдающийся ум, познания и общая одаренность не подлежат сомнению.
Начало его жизни окутано легендой. Из документов елизаветинской герольдии явствует, что Ибрагим родился в северной Абиссинии, где отец его владел двумя или тремя городами на правом берегу Мареба, на границе между Хамасеном и Сараэ, в Логоне.
В конце XVII века северо-восток Африки стал ареной усобиц с Турцией, которая вывозила в Константинополь военные трофеи, добычу, пленников, рабынь и заложников. Таким «аманатом» оказался и маленький африканец из Логона. С моментом его увоза связана поэтическая легенда о том, как старшая сестра Ибрагима, девочка Лагань, долго плыла за кораблем, увозившим ее любимого брата, и погибла в морской пучине.
Эпоха Возрождения возобновила античную моду на чернокожих слуг. Обычай этот из европейских дворов перешел в XVII веке в Россию. Арапы прислуживали обычно и Петру. На одном гравюрном портрете 1704 года он весьма декоративно изображен рядом с юным негром, охраняющим императорские регалии. Около 1706 года русский резидент при турецком «диване» получил приказ Петра выслать ему нескольких арапчат для украшения двора. Есть указания, что Ибрагим был выкраден из неприступного султанского сераля при содействии самого визиря.
В 1707 году маленький африканец был доставлен из Стамбула в северную столицу. Отныне он неотлучно состоит при царе и понемногу становится свидетелем крупнейших событий русской и европейской истории. За обнаруженные им «в походах и баталиях» прекрасные способности Петр отправляет юношу во Францию для обучения инженерному делу.
Несмотря на нужду в Париже и тяжелое ранение на войне, Ганнибал проходит курс артиллерийской школы в Меце и возвращается в Петербург профессором математики и фортификации. Он вывез из Парижа в Россию обширную французскую библиотеку в четыреста томов, составленную из книг не только по его специальности, но также по географии, истории, философии и литературе. В этом книжном собрании имелись сочинения Расина, Корнеля, Сирано де Бержерака, письма Фонтенеля, «Князь» Макиавелли, мемуары Брантома, философские трактаты Мальбранша, «Всемирная история» Боссюэ. Особенно широко были представлены работы по математике и военному делу.
Сам Ганнибал написал книгу об инженерном искусстве и составил мемуары на французском языке. Умирая, он оставил не только поместья, крепостных и формуляр с высокими чинами, но и многотомное книгохранилище, ценное собрание физических и механических инструментов, а главное — благодарную память о своей научной деятельности: известный мемуарист XVIII века Болотов отметил в своих записках «прекрасную геометрию и фортификацию Ганнибала». Это имя, очевидно, приобрело авторитетную репутацию не только в правительственных и военных кругах, но и в среде молодого поколения, стремящегося к знанию.
Жестокая школа жизни, пройденная Ибрагимом, сообщила некоторую суровость его характеру. Это в полной мере сказалось в его семейном быту.