Личная жизнь, это, конечно же, в первую очередь семья. Очевидно, вскоре после переезда в Москву Надежда поняла, что в жизни мужа ей отведено до обидного мало места. Ни с ней, ни с детьми ему некогда было общаться. А у них в кремлёвской квартире, а потом и на даче, всегда было полно народу — родственники, друзья, знакомые. Комнаты звенели детским смехом — к Василию и Светлане приходило много маленьких гостей из соседних квартир.
В 1919 году семье Сталина выделили дачу в Зубалове. В 1932 году, после кончины жены, он переменил квартиру в Кремле и построил новую дачу в Кунцеве. Дом в Зубалове не строили по индивидуальному проекту, тогда ещё так не делали, это пришло с годами. Просто воспользовались брошенной усадьбой, благо их тогда в Подмосковье пустовало много. Усадьба называлась по имени бывшего хозяина — нефтепромышленника Зубалова, владевшего нефтеперегонными заводами в Баку и в Батуми. Здесь же, неподалёку, поселились А.И. Микоян, К.Е. Ворошилов, Б.М. Шапошников.
Надежда Сергеевна работала, с детьми занималась няня, но по вечерам и в выходные дни мать старалась уделять как можно больше внимания сыну и дочери. До 1929–1930 годов, по воспоминаниям Светланы Аллилуевой, мать сама вела хозяйство, получала пайки и карточки, и ни о какой прислуге не могло быть и речи. Во всяком случае, в доме был нормальный быт, которым руководила хозяйка дома, и никаких признаков присутствия в доме чекистов, охраны тогда ещё не было. Единственный охранявший ездил со Сталиным только в машине и к дому никакого отношения не имел, да и не подпускался близко. Более того, Сталин в то время ходил по московским улицам без всякой охраны, как обыкновенный человек.
Летом в Зубалове всегда было людно. Здесь часто живал Бухарин, наполнявший весь дом животными, которых очень любил. Он играл с детьми, учил няню ездить на велосипеде и стрелять из духового ружья. Надолго приезжал Г.К. Орджоникидзе, который очень дружил со Сталиным. Близкими подругами были их жёны. Появлялся Будённый с гармошкой, под которую любил петь Ворошилов. Изредка подтягивал и хозяин, у него, оказывается, был высокий и чистый голос, хотя говорил он, наоборот, глуховато и негромко.
Признанной главой дома была хозяйка. Ей одной удавалось объединить и как-то сдружить между собой всех разношёрстных и разнохарактерных родственников. Многие знавшие её люди отмечают, что наряду с привлекательностью, умом, необыкновенной деликатностью она обладала большой твёрдостью, упорством и требовательностью в том, что ей казалось непреложным. Подчёркивая независимость её характера, приводят такой пример: в 1927 году, во время ожесточённой борьбы Сталина с Троцким, когда Троцкий и Зиновьев были исключены из партии и покончил с собой их видный сторонник дипломат А.А. Иоффе, на похоронах за его гробом в числе провожавших в последний путь шла Надежда Аллилуева.
Родственников у Надежды Сергеевны было много, и они не обделяли её своим вниманием. Объявив себя мужем и женой, супружеская пара перевезла в Москву родителей Надежды. Сергей Яковлевич и Ольга Евгеньевна Аллилуевы жили в кремлёвской квартире Сталина, на лето перебирались в Зубалово. После смерти Надежды в 1932 году Сергей Яковлевич сник, совершенно ушёл в себя, подолгу не выходил из своей комнаты. Жил попеременно то в Зубалове, то у старшей дочери Анны. Потом засел за воспоминания, которые вышли в 1946 году. Напечатанными он их так и не увидел — умер в 1945 году почти в восьмидесятилетнем возрасте. В отличие от сдержанного, деликатного супруга, Ольга Евгеньевна была натурой темпераментной, влезала во все бытовые мелочи, бурно выражала свой восторг и своё недовольство. Умерла она в 1951 году от стенокардического спазма, было ей 76 лет. После неожиданной кончины младшей дочери старики жили порознь, и каждый встретил свой смертный час отдельно друг от друга. Так же стоически переносили они удары, валившиеся на семью один за другим.