В родословии Николая Николаевича Ге прежде всего обращает на себя внимание французское происхождение русского художника. Прадед живописца – Матье Ге – представитель старинного французского дворянского рода – появился в России в 1789 году по причине кровожадного нрава разразившейся Великой французской революции. В приютившей его Москве бежавший француз не растерялся, иностранцев в Белокаменной тогда было много. Почувствовав себя среди них своим, Матье Ге «зажил довольно широко», открыв через некоторое время фабрику и обзаведясь семьёй. Сын и дочь, родившиеся у Матвея Ге – так стали именовать француза его новые соотечественники, – были, судя по всему, близнецами. Женская судьба Виктории Матвеевны Ге сложилась вполне удачно, правда, счастливый брак наследницы разорил её отца – солидное приданое дочери потребовало больших расходов. А Осип Матвеевич Ге служил в Конно-гренадёрском полку в Полтавской губернии и запомнился своим однополчанам весёлым малым, светский шарм которого производил впечатление на губернских дам, чем Осип Ге, разумеется, беззастенчиво пользовался. Но среди разгульной жизни молодого прапорщика нашлось место и для серьёзной страсти, ворвавшейся в его жизнь в лице Дарьи Коростовцевой из небольшого полтавского местечка Батьки. Женившись на своей возлюбленной, Осип Матвеевич планировал вместе с молодой супругой отправиться во Францию, но разорение отца принудило пересмотреть жизненные планы. Выйдя в отставку, Осип Ге поселился в родовом имении жены. Порванные связи с исторической родиной тем не менее так и не сделали Осипа Матвеевича по-настоящему русским. В браке родилось двое сыновей и четыре дочери. Поучившегося немного в частном пансионе города Зенькова Николая Осиповича Ге определили в Дворянский полк, позднее преобразованный в Константиновское военное училище. Приняв участие в походе русской армии на Париж 1814 года, Николай Ге прожил затем несколько лет во Франции, но вернулся в Россию, став «первым русским в роде Ге». Женился Николай Осипович на дочери проживавшего в Воронеже ссыльного польского дворянина – Елене Яковлевне Садовской. В этом провинциальном городе состоялось бракосочетание Елены и Николая Ге, здесь же молодые супруги свили семейное гнездо и произвели на свет троих сыновей – Осипа, Григория и Николая. Увы, когда младшему Николаю, родившемуся 15 февраля 1831 года, было всего три месяца, дети остались без матери. Елена Яковлевна умерла от холеры. Вскоре Николай Осипович, служивший при Провиантском департаменте Военного министерства, женился вторично, ушёл в отставку, продал воронежский дом и в 1836 году перебрался вместе с семьёй в Киев. Спустя некоторое время Николай Осипович Ге стал владельцем имения при селе Попелюхи Могилёвского уезда Подольской губернии, проявив себя в дальнейшем отличным хозяином. Вместе с площадью поместья росли и доходы его владельца, свою лепту в которые с 1851 года стал вносить винокуренный завод.
Сыновья Николая Осиповича учились в 1-й Киевской гимназии. Старший Осип окончил затем физико-математическое отделение Санкт-Петербургского университета. Конструирование аэростатов он успевал совмещать с участием в движении польских революционеров. Последнее стало причиной высылки Осипа Ге из имперской столицы. Жена и дочь Осипа Николаевича активно разделяли его политические взгляды. Мария Осиповна даже была выслана в Сибирь, где и скончалась двадцати четырёх лет от роду. Жизнь в столицах Осипу Николаевичу, судя по всему, была запрещена, и впоследствии он десять лет проведёт на хуторе брата Николая, занимаясь мирным пасечным делом.
Григорий Николаевич Ге начал свой деятельный жизненный путь офицером, а потом, уйдя в отставку, поселился в отцовском имении Подольской губернии и включился в работу Комитета по созданию проекта улучшения быта помещичьих крестьян, сразу отпустив на волю своих крепостных. В 1865 году Григорий Николаевич перебрался в Херсон и тоже нашёл себя в общественной жизни, став одним из основателей Библиотечного товарищества и открыв Херсонскую публичную библиотеку. Четыре дочери и сын не спасли брак Григория Ге с его женой Марией Дмитриевной, после развода уехавшей в Париж вместе с детьми и вошедшей, между прочим, в круг русских художников, группировавшихся тогда вокруг Алексея Боголюбова. После кончины Марии Дмитриевны в 1879 году дети вернулись к отцу, к тому времени жившему уже в Николаеве. И здесь Григорий Николаевич оставался неутомимым общественным деятелем, неоднократно избиравшимся в гласные Николаевской городской думы.