Маршал Рокоссовский поселился на Грановского в 1957 году. В конце 1956 года он вернулся из Польши, где в течение семи лет был министром обороны. Как раз в это время адмирал флота Кузнецов был снят с поста главкома ВМФ и должен был освободить свою квартиру № 63. Ее предложили К. К. Рокоссовскому, он согласился, и произошел своего рода «обмен» – маршал въехал в квартиру Кузнецова на Грановского, а Кузнецов – в его квартиру на Горького. Внук маршала Константин Вильевич Рокоссовский вспоминает, как впервые приехал в эту квартиру: «Она была еще пустая, и на меня произвело громадное впечатление гулкое эхо, раздававшееся по огромным комнатам». Семья до самой смерти маршала в 1968 году так до конца и не смогла «освоить» этих просторов – две комнаты из 9, имевшихся в наличии, так и не были никогда обставлены, и в них хранились всякие чемоданы, корзины с ненужными вещами. Рокоссовские вели довольно замкнутый образ жизни. Только дети общались между собой. Маленький Костя был особенно дружен с внуками Ф. И. Голикова Сашей и Верой и внуками В. М. Молотова Славой и Любой, жившими в том же подъезде этажом ниже. «Одно из ярких воспоминаний детства – как я сижу на одном колене Молотова, а на другом – Славик и Вячеслав Михайлович говорит – «Ну вот, вы у меня как Дон Кихот и Санчо Панса» – я был тогда длинный не по годам и худой, а Славик младше года на два и, соответственно, маленький».
По словам Константина Вильевича, особое внимание детей привлекала будка охраны, стоявшая возле ворот. «Охранники никакой формы, камуфляжа или чего-либо, напоминающего принадлежность к силовым структурам, не носили. Однако в результате одной «секретной» операции, проведенной по всем правилам военного искусства, с применением отвлекающих маневров, удалось установить, что в ящике стола, стоящего в будке, у охранника лежит… самый настоящий пистолет!»