Когда Елена родилась, ее отец, Петр Алексеевич, находился с батареей в Польше и вернулся спустя полгода после ее появления на свет. Это был очень тяжелый, холерный год для всей России, свирепствовала самая смертельная — азиатская — холера, от которой вымирали целые поселения, обезлюдел Екатеринослав. Скончался от холеры даже брат Николая I, великий князь Константин Павлович. Затем эпидемия перекинулась в Европу, также с тяжелыми последствиями.
Спустя год после рождения Елены семья переехала в армейский городок Романьков (ныне на территории Днепродзержинска, Украина). Но там они пробыли недолго, менее года, и далее, в течение нескольких лет, батарея отца часто меняла дислокацию. Соответственно, приходилось перемещаться и семье офицера Гана. Позже они снова оказались в Романькове, где произошло трагическое событие в их семье — смерть двухлетнего брата Елены Саши, которому не смогли из-за весенней распутицы оказать медицинскую помощь. Это было в 1834 году, а следующем году Елена Андреевна в ожидании будущего ребенка приехала с дочерью Еленой в Одессу к отцу. В том году были упразднены конторы иностранных переселенцев, а точнее, преобразованы, и А.М. Фадеев стал членом нового Попечительского комитета Главного управления иностранных поселений южного края России и направлен в Одессу. Одесса была тогда более дорогим для жизни городом, чем Екатеринослав, и Андрею Михайловичу, для уменьшения расходов, пришлось присмотреть и приобрести в сорока верстах от Одессы небольшое имение — хутор Поляковку — и переехать туда весною 1834 года.
Дочь А.М. Фадеева, Надежда, писала об отце: "Андрей Михайлович Фадеев в течение своего многолетнего служебного поприща несколько раз занимал такие места, на которых мог обогатиться… и оставить своим детям хорошее состояние. Но он никогда ничего не имел, кроме того, что давала ему служба; вел жизнь скромную, строго соразмерял ее с объемом своего содержания…"
В Одессе дружная семья Фадеевых также прожила недолго, чуть более года. В конце 1835 года А.М. Фадеев получил новое назначение в Астрахани и был назначен на должность главного попечителя кочующих народов. В апреле 1835 года на свет появляется сестра Елены Петровны Вера, и Елена Андреевна с дочерьми переезжает к мужу. И снова кочевая жизнь по гарнизонам Малороссии и Центральной России.
Весной 1836 года П.А. Гана с батареей переводят в Санкт-Петербург, и Елена Андреевна с детьми проводит в столице более года, до мая 1837 года.
Санкт-Петербург был тогда культурной столицей страны. Собственно, там и началась ее писательская карьера. Елена Андреевна получила возможность познакомиться со многими знаменитыми людьми своего времени. В письме к сестре Екатерине она описывает свою встречу с А.С. Пушкиным: "Я вдруг наткнулась на человека, который показался мне очень знакомым… И при втором взгляде сердце у меня крепко забилось… Я узнала Пушкина!.. Я воображала его черным брюнетом, а его волоса не темнее моих, длинные, взъерошенные. Маленький ростом, с заросшим лицом, он был бы не красив, если бы не глаза. Глаза блестят как угли и в беспрерывном движении. Я, разумеется, забыла картины, чтоб смотреть на него. И он, кажется, это заметил: несколько раз взглядывая на меня, улыбался… Видно, на лице моем изображались мои восторженные чувства".
В доме Екатерины Сушковой, своей родственницы, Елена Андреевна общалась с Лермонтовым: " Его я знаю лично… Умная голова! Поэт, красноречив".
В одном петербургском салоне она познакомилась с Осипом Сенковским, издателем "Библиотеки для чтения", и отдала в его журнал свою компиляцию из романа Бульвер-Литтона "Годольфин", ее перевод с английского. Сенковский предложил Елене Андреевне попробовать написать самой, что она и сделала, выбрав себе литературный псевдоним "ЗенеидаР-ва" и прислав в 1837 году в журнал свою первую повесть "Идеал". Затем последовали повести " Утбалла", " Джеллалетдин", " Медальон", " Суд света", "Теофания Аббиаджио", "Напрасный дар", "Воспоминание о Железноводске", "Любонька", новелла "Ложа в одесской опере" — всего 11 произведений. Некоторые из них были опубликованы уже после ее смерти в 1842 году.
И.С. Тургенев отзывался с большим уважением о Е.А. Ган, написав в 1852 году: "В этой женщине были действительно и горячее русское сердце, и опыт жизни женской, и страстность убеждений — и не отказала ей природа в тех "простых и сладких" звуках, в которых отчетливо выражается внутренняя жизнь".
После Петербурга Елена Андреевна с детьми переезжает к отцу в Астрахань. Попечительство Андрея Михайловича Фадеева над сотней тысяч калмыков-буддистов позволило юной Елене впервые соприкоснуться с этой восточной религией. Калмыки пришли в эти степи в начале XVII века из Китая. Фадеевым и Ганам случалось гостить у калмыцкого князя Сербеджаб-Тюменя.