Тучи над его головой начали вдруг сгущаться в конце 1940-х годов. В 1949 году его освобождают от должности, не объясняя причин. Обещают поставить директором Института криминалистики, но назначение так и не состоялось. Шейнин выжидает, сидя дома, занимается литературой, но почву зондирует постоянно. Наверняка он знал, что ему грозит, — на одной из вечеринок подвыпивший сотрудник органов сболтнул: "Эх, Лева, Лева, старый уголовник, умная у тебя башка, но все же мы за тебя взялись". Незадолго до ареста то же самое он услышал от знакомого драматурга — один из сотрудников госбезопасности посоветовал тому держаться подальше от Шейнина, так как его скоро посадят.
В это время, особенно после гибели Михоэлса, власти усиленно будировали так называемый еврейский вопрос. Для того чтобы его раскрутить, следовало найти "заговорщиков". Шейнин тут был как нельзя кстати — прокурор, писатель, он имел такие обширные связи в еврейской среде, что на роль заговорщика подходил как нельзя лучше. К тому же все знали, что хитрый и осторожный Шейнин был изрядно труслив.
Не было секретом, что этот "любитель ночных бдений" сам панически боялся допросов с пристрастием. По свидетельству знакомых, человеком он был нестойким по характеру, ненадежным, способным изменить в любой момент.
Его арестовали 19 октября 1951 года. В постановлении на арест указывалось: "Шейнин изобличается в том, что, будучи антисоветски настроен, проводил подрывную работу против ВКП(б) и Советского государства. Как установлено показаниями разоблаченных особо опасных государственных преступников, Шейнин находился с ними во вражеской связи и как сообщник совершил преступления, направленные против партии и Советского правительства". Арест санкционировал Генеральный прокурор Союза ССР Г. Н. Сафонов. В дальнейшем прокуратура чисто символически принимала участие в этом деле — ежемесячное продление срока действия и один-два допроса, учиненные помощником военного прокурора. Можно сказать, что Прокуратура СССР бросила на произвол судьбы своего сотрудника, отдавшего следственной работе двадцать семь лет жизни. Сам Шейнин связывал все происшедшее с происками Абакумова, хоть тот и сам уже находился в тюрьме. В конце 1949 года Шейнин со своей командой занимался расследованием причин пожара на даче Ворошилова и установил халатность органов безопасности, отдав виновных под суд. После этого Абакумов отпускал в адрес Шейнина невнятные угрозы и намеки.
Странно и непонятно, почему дело Шейнина тянулось два года — другие, даже гораздо более сложные, заканчивались гораздо быстрее. Допросы перемежались с очными ставками, дело пухло и к концу насчитывало уже семь солидных томов.
Семь старших следователей МГБ по особо важным делам принимали в нем участие. Шейнину пришлось выдержать около двухсот пятидесяти допросов, в основном ночных, во время которых его шантажировали, оскорбляли, грозили побоями. "За провинности" лишали прогулок, книг, передач. Больше года ему пришлось пробыть в одиночке, шесть дней его продержали закованным в наручники. К концу следствия, по его словам, запас "нравственных и физических сил был исчерпан".
В первый год ведения дела усиленно раскручивался так называемый еврейский заговор. Шейнин охотно и подробно выдавал всех и вся. Эренбург, братья Тур, Штейн, Крон, Ромм, Б. Ефимов, Н. Рыбак — все они якобы вели с ним "националистические" беседы. Вот типичный образчик стиля его показаний: "Эренбург — это человек, который повлиял, может быть в решающей степени, на формирование у меня националистических взглядов". Он обвинял Эренбурга в разговорах о том, что "в СССР миазмы антисемитизма дают обильные всходы и что партийные и советские органы не только не ведут с этим должную борьбу, но, напротив, в ряде случаев сами насаждают антисемитизм", что советская пресса замалчивает храброе поведение евреев во время Отечественной войны, что к евреям отношение настороженное.
Задачей следователей было расширить круг подозреваемых "еврейских националистов", поэтому от Шейнина требовали показаний даже на Утесова, Блантера, Дунаевского, Шостаковича. В своем письме министру безопасности С. Игнатьеву Шейнин писал: "Следователь пошел по линии тенденциозного подбора всяческих, зачастую просто нелепых данных, большая часть которых была состряпана в период ежовщины, когда на меня враги народа… завели разработку, стремясь меня посадить, как наиболее близкого человека А. Я. Вышинского, за которым они охотились". Другое письмо он отправил на имя Берии: "Вымогали также от меня показания на А. Я. Вышинского".
Впрочем, Шейнин и сам "топил" многих своих сослуживцев. Когда следователь спросил, все ли он рассказал о своей вражеской работе против Советского государства, он заявил: "Нет, не все. Мне нужно еще дополнить свои показания в отношении преступной связи с работниками Прокуратуры СССР Альтшуллером и Рогинским". Называл он и многих других лиц, например, прокурора Дорона, профессоров Швейцера, Шифмана, Трайнина.