В 1921 году у Шиловских родился сын Евгений (1921–1957), а в 1926 году – Сергей (1926–1975). Однако полного счастья в семье, очевидно, не было. В октябре 1923 года Елена Сергеевна писала своей сестре Ольге Сергеевне Бокшанской (1891–1948), работавшей секретарем дирекции МХАТа: «Ты знаешь, как я люблю Женей моих, что для меня значит мой малыш, но все-таки я чувствую, что такая тихая, семейная жизнь не совсем по мне. Или, вернее, так: иногда на меня находит такое настроение, что я не знаю, что со мной делается. Ничего меня дома не интересует, мне хочется жизни, я не знаю, куда мне бежать, но хочется очень. При этом ты не думай, что это является следствием каких-нибудь неладов дома. Нет, у нас их не было за все время нашей жизни. Просто я думаю, во мне просыпается мое прежнее «я» с любовью к жизни, к шуму, к людям, к встречам и т. д. и т. д. Больше всего на свете я хотела бы, чтобы моя личная жизнь – малыш, Женя большой – все осталось так же при мне, а у меня, кроме того, было бы еще что-нибудь в жизни, вот так, как у тебя театр». Те же настроения – в письме сестре, написанном месяц спустя, в ноябре 1923 года: «Ты знаешь, я страшно люблю Женю большого, он удивительный человек, таких нет, малыш – самое дорогое существо на свете, – мне хорошо, спокойно, уютно. Но Женя занят почти целый день, малыш с няней все время на воздухе, и я остаюсь одна со своими мыслями, выдумками, фантазиями, неистраченными силами. И я или (в плохом настроении) сажусь на диван и думаю, думаю без конца, или – когда солнце светит на улице и в моей душе – брожу одна по улицам». В браке с Шиловским Елене Сергеевне не хватало светской жизни, веселой дружеской компании, наконец, элементарного общения с мужем. Ведь Евгений Александрович почти все время, день и ночь, был занят на службе. Знакомство с Булгаковым наполнило жизнь Елены Сергеевны атмосферой игры, веселья, радости, дало то, что не мог ей дать Шиловский. В 1967 году она так вспоминала об этом поистине судьбоносном знакомстве, состоявшемся 28 февраля 1929 года на квартире художников Моисеенко (Б. Гнездниковский переулок, 10): «Я была просто женой генерал-лейтенанта Шиловского, прекрасного, благороднейшего человека. Это была, что называется, счастливая семья: муж, занимающий высокое положение, двое прекрасных сыновей. Вообще все было хорошо. Но когда я встретила Булгакова случайно в одном доме, я поняла, что это моя судьба, несмотря на все, несмотря на безумно трудную трагедию разрыва. Я пошла на все это, потому что без Булгакова для меня не было ни смысла жизни, ни оправдания ее… Это было в 29-м году в феврале, на масляную. Какие-то знакомые устроили блины. Ни я не хотела идти туда, ни Булгаков, который почему-то решил, что в этот дом он не будет ходить. Но получилось так, что эти люди сумели заинтересовать составом приглашенных и его, и меня. Ну, меня, конечно, его фамилия. В общем, мы встретились и были рядом. Это была быстрая, необычайно быстрая, во всяком случае с моей стороны, любовь на всю жизнь.
Потом наступили гораздо более трудные времена, когда мне было очень трудно уйти из дома именно из-за того, что муж был очень хорошим человеком, из-за того, что у нас была такая дружная семья. В первый раз я смалодушествовала и осталась, и я не видела Булгакова двадцать месяцев, давши слово, что не приму ни одного письма, не подойду ни разу к телефону, не выйду одна на улицу. Но, очевидно, все-таки это была судьба. Потому что когда я первый раз вышла на улицу, то встретила его, и первой фразой, которую он сказал, было: «Я не могу без тебя жить». И я ответила: «И я тоже». И мы решили соединиться, несмотря ни на что. Но тогда же он мне сказал то, что я, не знаю почему, приняла со смехом. Он мне сказал: «Дай мне слово, что умирать я буду у тебя на руках»… И я, смеясь, сказала: «Конечно, конечно, ты будешь умирать у меня на…» Он сказал: «Я говорю очень серьезно, поклянись». И в результате я поклялась».
Любовь Евгеньевна не так уверенно называет дату этого рокового для нее события: «В 29–30 годах мы с М.А. поехали как-то в гости к его старым знакомым, мужу и жене Моисеенко (жили они в доме Нирензее в Гнездниковском переулке). За столом сидела хорошо причесанная интересная дама Елена Сергеевна Нюренберг, по мужу Шиловская. Она вскоре стала моей приятельницей и начала запросто и часто бывать у нас в доме. Так на нашей семейной орбите появилась эта женщина, ставшая впоследствии третьей женой М.А. Булгакова». (Л.Е. Белозерская. Воспоминания). Не исключено, что с семейством Моисеенко М.А. Булгаков познакомился еще во Владикавказе. О таких его владикавказских знакомых вспоминала Т.Н. Лаппа.