Елена собрала узелок с едой для мужа. Он надел свой черный овчинный тулуп, и они стали прощаться. Анна перекрестила сына, поцеловала и прошептала благословение, за ней подошли прощаться Михаил, жена и дочь Владимира, наконец сын Ларюша. Мишка провожал отца по Кропоткинской улице; день был холодный, безжалостный ветер срывал с деревьев оставшиеся листья. Через несколько кварталов чекист по фамилии Корягин велел Мишке идти домой. Мишка возмутился, но Владимир посмотрел на сына и сказал: «Иди, Мишка». Он крепко обнял его, повернулся и пошел.
Василий Шереметев в первые дни войны пошел на фронт добровольцем. Он еще не достиг призывного возраста, прибавил себе лет, был принят в ополчение и отправился на фронт. Родители его благословили. В первые несколько месяцев они получали от него редкие письма, но в декабре 1941 года Василий пропал, и они больше ничего о нем не слышали. Семидесятилетний Павел каждую ночь выходил на дежурство, чтобы гасить немецкие зажигательные бомбы. Однажды ночью на монастырь было сброшено двадцать бомб, и все удалось потушить, в том числе благодаря работе Павла. Ольга Шереметева погибла во время налета на Москву 12 августа, когда бомбы разнесли флигель Наугольного дома.
Племянник Павла Николай Шереметев, который оставался в Москве и дежурил по ночам на крыше Вахтанговского театра, однажды едва не погиб. Николай уговорил Цецилию уехать из Москвы к его сестре Елене и Владимиру в Дмитров. В начале осени 1941 года весь Вахтанговский театр был эвакуирован в Омск. Елена, Владимир и остальные члены семьи провожали Цецилию в Дмитрове. В мае 1944 года Николай умер. По всей видимости, он делал себе инъекции морфина, чтобы заглушить постоянные боли поджелудочной железы. Прах его был захоронен на кладбище Новодевичьего монастыря недалеко от башни, где жили дядя Павел и тетя Прасковья. Цецилию похоронили рядом в 1976 году.
Сестры Павла Мария и Анна летом 1941 года оказались в разлуке одни. Мария жила в Куйбышеве (Самаре) с двумя младшими внуками Александром и Сергеем. За год до этого у них на глазах погибла их мать Меринька Гудович, которая утонула в Волге. Сын Марии Андрей помогал ей пережить эту трагедию, но летом 1941 года ушел добровольцем на фронт. Мария умерла в Куйбышеве в 1945-м, не дождавшись его возвращения.
Анна жила во Владимире, снимая комнату у грубой женщины, которая получала удовольствие, унижая ее. Ксения рассчитывала вернуться во Владимир, чтобы быть вместе с матерью. В конце января 1940 года она получила сообщение, что будет выпущена из лагеря на восемь лет раньше срока. Ее мечта исполнилась. Ксения не верила своему счастью, однако, когда она приехала на железнодорожную станцию, власти уведомили ее, что приговор не отменен, а лишь изменен и вместо отбывания остатка срока в лагере она отправляется на пять лет в ссылку в северный Казахстан. Ксения приехала в дальнюю степную деревню Пресновка в рваном пальто и с маленьким узелком. Она нашла пристанище в простой землянке вместе с тремя крестьянами.
Анна была потрясена, узнав, что Ксения к ней не вернется. Весь следующий год Ксения, Анна и даже Павел писали Берии, но безо всякого успеха. Анна посылала дочери одежду и продукты, которые с трудом сама добывала. Зима 1940/41 года была тяжелым испытанием для обеих: Анна едва не замерзла насмерть в своей нетопленой комнате; Ксения была на грани истощения, не могла купить даже хлеба и просила мать прислать, что сможет. С приходом весны Ксения воспряла духом. Она была уверена, что брат Юрий скоро вернется и жизнь начнется вновь. Анна разделяла надежды дочери на будущее.
Павел и Прасковья Шереметевы, тревожась о Василии, прожили первую военную зиму в холоде и голоде в Напрудной башне. К весне 1942 года они уже не могли сами заботиться о себе и переехали в Царицыно к сестрам Прасковьи Ольге и Евфимии и племяннице с племянником, Елизавете и Николаю Оболенским (осиротевшим детям Владимира и Вареньки Оболенских). 11 июня Прасковья умерла. Удрученный горем Павел решил не возвращаться в свою комнату в Напрудную башню. Со времени смерти отца, графа Сергея, Павел делал все возможное, чтобы поддержать семью. Множество раз, когда едва хватало денег и продуктов для себя, он помогал сестре и двоюродному брату, племяннице и племяннику.
В феврале 1943 года Павел написал Анне из Царицына поздравительное письмо к именинам, извиняясь, что не может прислать ей денег. Через четыре дня Павел скончался. Ему был семьдесят один год.
Родные не знали, как отвезти гроб на кладбище. Машины ни у кого не было, не было денег ее нанять. Ольга с племянником и племянницей погрузили гроб на санки и, впрягшись в них сами, отвезли на кладбище. Они хотели похоронить Павла рядом с Прасковьей, но могильщики сослались на то, что земля там слишком твердая и промерзшая, так что могилу вырыли в другом месте.