В 1949 г. двенадцать раз: 3 января, 7 января, 10 января, 27 января, 14 февраля, 11 апреля, 25 апреля, 24 мая, 20 июня, 13 июля, 23 июля, 20 августа.
В 1950 г. шесть раз: 9 января, 17 января, 1 февраля, 27 мая, 14 июля, 1 августа.
В 1951 г. всего два раза: 6 апреля и 5 июля.
Вот что пишет по этому поводу Н. Петров: «Приехав после отпуска в Москву, Сталин резко сократил контакты с Абакумовым, пригласив его в свой кремлевский кабинет только один раз — 6 апреля 1951 года. Трудно сказать, понял ли Абакумов, сколь серьезен этот знак и что против него что-то затевается. После этого в журнале посетителей кремлевского кабинета Сталина фамилия Абакумова встретится только 5 июля 1951 года, когда уже было принято решение снять его с должности министра».
В книге «Сталин: правда и ложь», вышедшей в 1996 г., ее автор Владимир Жухрай рассказывает о падении Абакумова. У него свой взгляд: «Падение Абакумова началось, казалось бы, с "пустяка" — с дела о Спецторге. Два члена Политбюро — Микоян и Косыгин — внесли предложение (под предлогом отсутствия необходимых ресурсов) о ликвидации Спецторга, обеспечивавшего продуктами питания и товарами широкого потребления чекистские кадры. Против этого предложения очень резко возразил Абакумов.
— Почему, — говорил он, — Министерство обороны имеет Военторг, хотя и находится сейчас на мирном положении, не воюет, а Министерство Государственной безопасности, которое воюет ежедневно и ежечасно с происками иностранных разведок, нужно лишать Спецторга?
В какой-то непонятной запальчивости Абакумов перешел дозволенные границы, допускаемые в полемике на заседаниях Политбюро, фактически обозвав Микояна и Косыгина дураками. Сталин резко оборвал Абакумова.
— Я вам запрещаю, — сказал он, — обзывать членов Политбюро дураками.
Конечно, гнев Сталина был вызван не поведением Абакумова по отношению двух членов Политбюро. Это он простил бы министру госбезопасности, которому симпатизировал, если бы не открывшиеся незадолго серьезные и пока что недостаточно ясные для Сталина обстоятельства. Джуга на одном из очередных докладов предоставил ему фотографию, на которой улыбающийся Абакумов в саду "Эрмитаж" дарил огромный букет роз молодой красивой женщине, которая при негласной проверке оказалась связанной с английской разведкой».
Как утверждает В. Жухрай, после сигнала была создана комиссия для проверки работы Спецторга. «Ею были вскрыты существенные злоупотребления в Спецторге. Директором центрального склада Спецторга оказался человек, в прошлом привлекавшийся к уголовной ответственности за спекуляцию и снятый с должности начальника казанского Спецторга за мошенничество. Руководство же московского областного Спецторга расхитило продуктов и промышленных товаров на сумму свыше 2 миллионов рублей, за что начальник Мособлспецторга был осужден на 25 лет. Абакумов, в подчинении которого, наряду с номинальным подчинением Министерству торговли СССР, находился Спецторг, получил от Сталина первый строгий выговор с предупреждением.
Но не зря говорят, что беда никогда не ходит одна. Звезда Абакумова была явно на закате. Все тот же Джуга, теперь уже генерал, в ходе изучения служебной деятельности Абакумова, сумел обнаружить крупные провалы в работе одного из секретнейших управлений Министерства Государственной безопасности СССР, которое возглавлял генерал-лейтенант Шевелев.
Эти провалы Абакумов скрывал от Сталина и ЦК ВКП(б). Более того, один из главных критиков недостатков в работе этого управления, неоднократно выступавший с критикой на партийных собраниях начальник отделения, майор государственной безопасности Евгений Щукин был отправлен Абакумовым в командировку в Северную Корею, где погиб при загадочных обстоятельствах.
По указанию Сталина управление, возглавляемое генералом Шевелевым, было выведено из состава МГБ СССР и стало одним из специальных подразделений ЦК ВКП(б). Абакумов же получил второй строгий выговор с предупреждением».
В этой же книге автор устами никому не известного генерала Джуги рассказывает о других преступлениях Абакумова: «Еще в период войны Абакумов заболел трофейной болезнью. Хранил на специально созданных складах, якобы для оперативных нужд, большие материальные ценности, в основном трофейные, укрыв их от официального учета. Тащил с этих складов все, что хотел. По подтвержденным данным для личного пользования с этих складов Абакумовым было взято более тысячи метров шерстяных и шелковых тканей, несколько гарнитуров мебели, столовых и чайных сервизов, ковров, изделий из саксонского фарфора. За период с 1944 по 1948 г. Абакумов похитил ценностей более чем на 600 тысяч рублей. По имеющимся у меня сведениям в настоящее время на квартире Абакумова хранится более трех тысяч метров шерстяных, шелковых и других тканей, большое количество дорогих художественных ваз, фарфоровой и хрустальной посуды, различных галантерейных товаров, большое количество золотых изделий.