Петр выехал из Москвы 16 июня. Дворец был оставлен по-прежнему на запустение и разрушение. Жить в нем не было возможности. Двор, во время приездов в Москву, как мы сказали, пребывал обыкновенно в Летнем (Головинском) дворце на Яузе, об устройстве которого так заботился и сам Петр, его основатель.
Изредка и весьма на короткое время императрицы останавливались и в Кремлевском дворце, именно в Потешном дворце, здание которого не было еще слишком опущено и представляло некоторые удобства для помещения. Почти при каждой новой коронации возникала мысль основать пребывание в Кремле. Место своею красотою и оригинальными постройками, без всякого сомнения, очень привлекало каждого нового хозяина. Но как скоро оканчивались церемонии и пиры, все уезжало в Петербург — и о Москве, и о Кремле забывали по-прежнему до нового приезда. Впрочем, весьма трудно было что-либо и сделать из этих неуютных, тесных и беспорядочных строений, стоявших в разбросе, где попало, и своим своеобразием приводивших в совершенный тупик петербургские привычки и потребности новой жизни. Вдобавок здания ветшали с каждом годом. Поправка их стоила дорого и с каждым годом становилась еще дороже. Денег жалели, потому что видели мало пользы в возобновлении дворца, в котором жить все-таки было нельзя. Ко времени коронаций возобновляли только некоторые части, наиболее видные и необходимые для совершения церемоний, именно палаты Грановитую, Столовую, Малую Золотую и Терем.
Императрица Анна, по приезде в Москву в 1730 г., остановилась сначала в Кремле на Потешном дворце; но, вероятно, по неудобству помещения, она вскоре повелела выстроить для себя новый деревянный дворец, где-то подле Арсенала, который и назван был
В 1737 г., мая 29-го, Москву опустошил страшный пожар, от которого значительно потерпел и Кремлевский дворец. Кровли на всех церквах и почти на всех зданиях, на палатах: Грановитой, Столовой, Ответной и др. — сгорели; в том числе над Красным крыльцом медная кровля, крытая по железным связям и по дереву, сгорела и обвалилась. В Столовой и Ответной палатах пол и в окнах и в дверях рамы и окончины и каменные столбы, около окон косящатой камень облопался и железные связи порвало. Сгорели Верхний и Нижний Набережные сады. В верхних Теремах в одной палате стекла перелопались и сгорела крыша над всхожим крыльцом, крытая белым железом. В палатах за верхними Теремами, т. е. на внутреннем дворе, также на Кормовом и Хлебенном дворцах, в Сушилах, и на Сытном дворце — все выгорело: полы, потолки, двери, лавки. Сгорел также большой корпус Главной дворцовой канцелярии, прежний приказ Большого дворца, стоявший между Колымажными воротами и Рождественским собором, причем большею частию погиб и Архив. Во второй палате этого здания сгорело «44 шафа, а в них положены были разобранные описные и не описные дела по годам, прошлых лет, также писцовые и переписные, и дозорные, и межевые, и отдельные, и отказные, и приходные, и расходные, и другие всякие книги с 7079 (1571) года по 700 год». Утрата, невознаградимая для истории царского быта во всех отношениях, и особенно для истории древних художеств и ремесел, деятельность которых в XVI и XVII ст., с особенною силою приливала ко дворцу. Кроме того, и в других палатах, вместе с делами с 1700 г., сгорели, без сомнения, весьма любопытные бумаги, принадлежавшие Меншикову и Долгоруким, а также Походной канцелярии Петра. Сгорело «князей Долгоруких сундуков и ящиков и баулов и коробок с домовыми делами шестнадцать… три ящика с долгоруковскими крепостьми… четыре сундука с домовыми князя Меншикова книгами и делами».
Хотя после пожара некоторые здания были возобновлены и починены и все покрыты кровлями, однако ж многие из них, особенно на заднем дворе, с того времени, пришли еще в большее запустение и совсем были оставлены.