Архитектор предложил второй вариант — Софийскую набережную. Она представлялась предпочтительной в силу того, что
25 марта была создана комиссия президиума Академии архитектуры СССР для организации проектирования Пантеона под председательством А.Г. Мордвинова. Колли вошёл в неё в качестве заместителя председателя, вторым замом был архитектор С.Е. Чернышев. Члены комиссии предложили свои варианты места сооружения Пантеона. Назывались Лужники, Ленинские горы, Манежная площадь, Исторический музей. Но в итоге победила точка зрения Колли — привязка к Красной площади. Единогласно была принята
Комиссия объявила открытый конкурс на составление проекта здания Пантеона. К слову, в нём приняли участие многие видные архитекторы того времени.
К началу июня была готова счётно-проектная документация, и уже восьмого числа радостный и возбуждённый Колли передал её председателю Госкомитета СССР по делам строительства. Последнее упоминание о Пантеоне в архиве датировано 11 июня 1953 года. В этот день Колли представил подробную справку об объёмах всех существовавших в мире мавзолеев и пантеонов. Больше никаких следов о судьбе этого грандиозного сооружения обнаружить не удалось. Кто его окончательно «тормознул», остаётся загадкой. Правда, в рабочих блокнотах поэта А. Твардовского за 1955 год есть запись о том, что Пантеон «как будто канул в забвение среди насущных дел».
Однако вернёмся к рассказу С. Аллилуевой о последних часах ее отца. Итак, мы покинули его, когда он был без сознания. Инсульт был сильный, речь потеряна, правая половина тела парализована — те же признаки, о которых писал Хрущёв. Совпадает и то, что он несколько раз открывал глаза — взгляд был затуманен, кто знает, узнавал ли он кого-нибудь. Тогда все кидались к нему, старались уловить слова или хотя бы желание в глазах. Дочь сидела возле отца, держала его за руку, он смотрел на неё, — вряд ли он видел. Светлана поцеловала его и поцеловала руку, — больше ей уже ничего не оставалось.
В воспоминаниях Аллилуевой много эмоций. Это и понятно. Она укоряет себя за то, что никогда не была хорошей дочерью, что ничем не помогала этой одинокой душе, этому старому, больному, всеми отринутому и одинокому на своём Олимпе человеку, который пятерых из восьми своих внуков так и не удосужился ни разу увидеть. И они не видали его никогда. Жуткая, нечеловеческая трагедия семьи.