«Спустя месяц после свадьбы, – пишет Б. Л. Модзалевский в своей биографии Пушкина, – Ганнибал был командирован Минихом в Пернов – учить кондукторов математике и черчению. Евдокия вскоре стала изменять нелюбимому мужу, увлекшись одним из кондукторов, Яковом Шишковым. С этого времени между супругами началась тяжелая семейная драма, окончательно завершившаяся формальным разводом лишь через одиннадцать лет. Ганнибал подал жалобу в перновскую канцелярию, что Шишков и жена хотели его отравить. К жене он приставил надежный караул и неоднократно брал ее к себе, в свои покои. Там в стены, повыше роста человеческого, ввернуты были кольца. Туда вкладывались руки Евдокии, и ее тело повисало на воздухе. В комнате заранее приготовлены были розги, батоги, плети, и муж “бил и мучил ее смертельными побоями необычно”, принуждая, чтобы она на суде при допросах показала, будто “с кондуктором Шишковым хотела его, Ганнибала, отравить, и с ним, Шишковым, блуд чинила”. При этом, в случае, если она покажет не по его желанию, “грозил ее, Евдокию, убить”. После таких внушений в канцелярии Евдокия все показала по желанию мужа, чтобы только вырваться из его рук. Тем не менее, в течение месяца она жила у мужа, и только тогда взята была в канцелярию. Ее посадили на госпитальный двор, куда обыкновенно заключались осужденные. Там, под крепким караулом, провела она пять лет. На содержание арестованных никто не обращал внимания, и арестанты Госпитального двора питались или на средства родных, или на доброхотные подаяния христолюбцев. На содержание Евдокии Андреевны муж ничего не давал и сам нарочно затягивал дело, чтобы подольше продержать ее под караулом».
Позже он заключил ее в сумасшедший дом и начал дело о разводе. Не дождавшись решения суда, неистовый абиссинец сошелся с Христиной Шенберг, от которой имел детей, среди которых был Осип Абрамович, дед поэта. Двоеженство сошло Ибрагиму с рук, и в конце концов второй брак был утвержден.
Его второй сын Осип Абрамович так же отличался пылким и необузданным нравом. «Африканский характер моего деда, – писал Пушкин, – пылкие страсти, соединенные с ужасным легкомыслием, вовлекали его в удивительные заблуждения». В 1773 году он женился на 28-летней девушке, Марии Алексеевне, бабушке поэта. Однако даже после рождения дочери Нади он уезжает из дома, нисколько не заботясь о семье. Увезя с собой малолетнюю дочь, Осип Абрамович принудил жену отказаться от претензий к его возвращению. «Я решилась более вам своею особою тяготы не делать, а расстаться навек и вас оставить от моих претензий во всем свободна, – писала молодая женщина мужу, – только с тем, чтобы дочь наша мне отдана была».
Вскоре он снова женится, представив поддельное письмо о смерти первой жены. Однако сожительство их продолжалось недолго: супруги были разлучены по приказу церкви, и на Осипа Абрамовича посыпались жалобы от обеих жен: Марья Алексеевна возбудила дело о двоеженстве мужа, а Устинья Ермолаевна, вторая жена, о растрате полученных от нее денег. Незаконный брак был расторгнут, а двоеженец сослан по приказу императрицы Екатерины.
«Полуэфиопские замашки Ганнибаловщины, – отмечает А. Тыркова-Вильямс, – как звали в Псковском крае потомков Абрама и при жизни поэта, и еще несколько десятилетий после его смерти, изумляли и потешали псковичей своей бурной дикостью».
Ганнибалы, как и Пушкины, не отличались семейными добродетелями. Нравы XVIII века были дики. Крепостная среда поощряла распущенность, предоставляя помещикам возможность безнаказанно развратничать со своими крепостными, почти не ограничивала разгул их страстей, доходящих иногда до полной свирепости. Потомки «Арапа Петра Великого» унаследовали все его особенные качества горячего абиссинца, необыкновенную конституцию, полную энергии, страсти и необузданности.
Эта бурная энергетика передалась также и матери поэта, Надежде Осиповне, которая получила в наследство и несколько желтоватый цвет кожи. Она была хороша собой, с тонким негритянским профилем и вьющимися черными волосами. В свете называли ее «прекрасная креолка». Благодаря усилиям своей матери, Марии Алексеевны, которая самостоятельно вела хозяйство, она получила первоклассное воспитание, в совершенстве овладела французским языком. Благодаря ему отчасти, она познакомилась с образованным и приятным в обхождении офицером, будущим отцом поэта. Переехав жить в Москву, она блистала на балах, очаровывая общество красотой, остроумием, веселостью.