Дед Надежды Осиповны, абиссинец Ибрагим, ставший в России генерал-аншефом Абрамом Петровичем Ганнибалом, прожил жизнь беспримерную по фантастическим переломам и счастливой игре случайностей. Судьба бросала его с африканских плоскогорий в забайкальские степи, с побережий Босфора в Москву, из новорожденного Петербурга во французские военные академии, из пышного Парижа Людовика XIV на театр войны за испанское наследство. Он успел проявить себя как царский секретарь, как активный участник действующих армий, как военный математик, придворный педагог, строитель крепостей и директор каналов. Его выдающийся ум, познания и общая одаренность не подлежат сомнению,
Начало его жизни окутано легендой. Из документов елизаветинской герольдии явствует, что Ибрагим родился в северной Абиссинии, где отец его владел двумя или тремя городами на правом берегу Мареба, на границе между Хамасеном и Сараэ, в Логоне.
В конце XVII века север Африки стал ареной усобиц с Турцией, которая вывозила в Константинополь военные трофеи, добычу, пленников, рабынь и заложников, таким «аманатом» оказался и маленький африканец из Логона. С моментом его увоза связана поэтическая легенда о том, как старшая сестра Ибрагима, девочка Лагань, долго плыла за кораблем, увозившим ее любимого брата и погибла в морской пучине.
Эпоха Возрождения возобновила античную моду на чернокожих слуг. Обычай этот из европейских дворов перешел в XVII веке в Россию. Арапы прислуживали обычно и Петру. На одном гравюрном портрете 1704 года он весьма декоративно изображен рядом с юным негром, охраняющим императорские регалии. Около 1706 года русский резидент при турецком «диване» получил приказ Петра выслать ему нескольких арапчат для украшения двора. Есть указания, что Ибрагим был выкраден из неприступного султанского сераля при содействии самого визиря.
В 1707 году маленький африканец был доставлен из Стамбула в северную столицу. Отныне он неотлучно состоит при царе и понемногу становится свидетелем крупнейших событий русской и европейской истории. За обнаруженные им «в походах и баталиях» прекрасные способности Петр отправляет юношу во Францию для обучения инженерному делу.
Несмотря на нужду в Париже и тяжелое ранение в испанской войне, Ганнибал проходит курс артиллерийской школы в Меце и возвращается в Петербург профессором математики и фортификации. Он вывез из Парижа в Россию обширную французскую библиотеку в четыреста томов, составленную из книг не только по его специальности, но также по географии, истории, философии и литературе. В этом книжном собрании имелись сочинения Расина, Корнеля, Сирано де-Бержерака, письма Фонтенеля, «Князь» Макиавелли, мемуары Брантома, философские трактаты Мальбранша, «Всемирная история» Боссюэ. Особенно широко были представлены работы по математике и военному делу.
Сам Ганнибал написал книгу об инженерном искусстве и составил мемуары на французском языке. Умирая, он оставил не только поместья, крепостных и формуляр с высокими чинами, но и многотомное книгохранилище, ценное собрание физических и механических инструментов, а главное — благодарную память о своей научной деятельности: известный мемуарист XVIII века Болотов отметил в своих записках «прекрасную геометрию и фортификацию Ганнибала». Это имя, очевидно, приобрело авторитетную репутацию не только в правительственных и военных кругах, но и в среде молодого поколения, стремящегося к знанию.
Жестокая школа жизни, пройденная Ибрагимом, сообщила некоторую суровость его характеру. Это в полной мере сказалось в его семейном быту.