Во время работы XVIII съезда ВКП (б) Г.И. Петровский был обвинен в том, что находился в дружеских отношениях со многими «врагами народа». Он был выведен из состава кандидатов в члены Политбюро ЦК ВКП (б) и только чудом избежал ареста. Надо отметить, что Григорий Иванович Петровский оказался одним из немногих старых революционеров, кому удалось в те годы избежать репрессий со стороны Сталина и его ближайшего окружения. Тем не менее вскоре Г.И. Петровский оказался без работы и без средств к существованию. Сильно переживая за сыновей, он вскоре тяжело заболел, перенес инфаркт. К тому же надо добавить, что всего за несколько месяцев до этого был расстрелян муж дочери Антонины — С. А. Затер, занимавший должность председателя Черниговского облисполкома на Украине.
Более года Григорий Иванович был не у дел, не получая никакой зарплаты или пенсии, а ведь ему шел тогда уже 61-й год. Материальное положение семьи было очень сложным. Ему, одному из старейших революционеров, помог устроиться на работу в Музей революции соратник по борьбе с царским режимом, бывший депутат IV Государственной думы Ф.Н. Самойлов, с которым они вместе находились в ссылке в Сибири за антивоенные выступления. Ф.Н. Самойлов работал в музее завхозом.
В 1941 году, когда враг подошел к столице, Г.И. Петровский участвовал в эвакуации архивных ценностей из Москвы и был назначен комиссаром эшелона, на котором вывозились архивы и наиболее ценные документы главных музеев столицы. Вскоре он оказался в Хвалынске, небольшом городке на Волге. С ним была и Домна Федотовна, которая уже давно тяжело болела. Здесь они получили страшную весть о гибели Леонида. Домна Федотовна окончательно слегла и вскоре умерла. Только в 1943 году Г.И. Петровский вернулся в Москву и продолжил работу в Музее революции.
Почти полгода комкор Л.Г. Петровский числился в кадрах Красной Армии, но практически находился не у дел, ожидая своей участи. Это время было для него самым сложным в жизни, даже сложнее, чем когда его уволили со службы. Каждый день он ждал звонка, надеялся, что произошла ошибка и он вновь понадобится армии, но телефон молчал. А ночью Леонид Григорьевич с трепетом в душе и болью в сердце прислушивался к стукам на лестничной клетке — не за ним ли пожаловали ночные гости из НКВД. В это время семья Л.Г. Петровского — он, жена и дочь Ольга — жила в доме, который многие годы носил название «Дом на набережной»: 16 подъезд, квартира № 321.
Этот дом, как никакой другой, часто упоминается в рассказах, когда речь идет о той или иной исторической личности, а таковых в доме проживало очень много. Многим его жителям было не суждено пережить период сталинских репрессий.
Памятник живой истории, которому недавно исполнилось 80 лет, обросший за это время многими тайнами и легендами, разного рода слухами и немыслимыми фактами из жизни его обитателей, он стоит мрачной серой крепостью на Берсеньевской набережной Москвы-реки, однако имеет адрес: Москва, улица Серафимовича, 2.
О том, что здесь в разные годы жили многие выдающиеся личности нашего государства, прославленные полководцы и военачальники Красной Армии, свидетельствуют многочисленные памятные доски с их именами.
Как только его не называли его за прошедшие 80 лет: Дом Советов, Дом Правительства, 2-й Дом Совнаркома СССР, Дом ВЦИК и СНК, «Дом Иофана», «ДОПР» и наконец — Дом на набережной. По воспоминаниям Ольги Леонидовны, Леонид Григорьевич Петровский очень любил этот дом с его просторными квартирами и чистыми лестничными маршами, что еще не часто можно было встретить. Приезжавшие к ним гости всегда восхищались им. Но в тот период, когда он оказался не у дел, ему казалось, что дом стал чем-то напоминать собой тюрьму.
Несколько позднее Леонид Григорьевич даже решил сменить квартиру, и они с семьей переехали в квартиру № 427, находившуюся в 25-м подъезде. Сейчас здесь проживают другие люди. Они, наверное, и не знают о том, что в их квартире в свое время жил легендарный советский генерал.
В конце ноября 1938 года раздался звонок, и незнакомый голос сообщил, что ему приказано немедленно прибыть в Управление кадров. По прибытии в Управление кадров ему вручили приказ Наркома обороны № 02489 от 29 ноября 1938 года, в соответствии с которым Л.Г. Петровский был уволен из рядов Красной Армии по статье 43, пункт «А».
Через месяц его исключили из членов ВКП (б). Леонид Григорьевич не признал выдвинутых в его адрес обвинений, тем не менее был вынужден расстаться и с партбилетом, и с командирским удостоверением, получив взамен военный билет № 13601, в котором черным по белому было записано, что его владелец является комкором запаса РККА. Тем не менее, как рассказывает дочь генерала, уволенному из армии Леониду Григорьевичу Петровскому назначили пенсию в 610 рублей, на которую и жили всей семьей.