Чем приглянулась Шапирштейну фамилия Эльсберг, это историкам осталось не известно. Возможно, занятия литературой как-то не сочетались с профессией его родителей. В конце концов, нам это не так уж интересно, на какую фамилию он отзывался. Куда интереснее, что после возвращения из ссылки Яков Эльсберг успешно начал делать карьеру литературоведа и критика, сотрудничая с журналом «На литературном посту», органом Российской ассоциации пролетарских писателей. Со временем он стал одним из ближайших помощников главы РАПП Леонида Авербаха. В немалой степени помогло и то, что некоторое время Эльсберг был личным секретарём Льва Каменева. Видимо, благодаря ему и удалось Якову Ефимовичу устроиться на работу в издательство «Academia».
Однако после осуждения Каменева по делу «Троцкистско-зиновьевского объединённого центра» земля под Яковом Ефимовичем заходила ходуном. После обвинения в растрате это был второй момент в его судьбе, грозивший неприятностями. Но если в 1922 году пришлось ненадолго отправиться в ссылку, то на этот раз и вовсе обошлось, если не считать общественного порицания, вынесенного Эльсбергу за порочащую его связь с троцкистом.
В начале 50-х годов автор книг о Салтыкове-Щедрине и Герцене обосновался в Институте мировой литературы, со временем возглавив сектор теории литературы. Но вот беда, вскоре из ссылки и лагерей стали возвращаться недавние «враги народа». В книге Олега Дормана «Подстрочник: Жизнь Лилианны Лунгиной», автор, ссылаясь на мнение вернувшегося из лагерей Леонида Пинского, написал:
«Он вернулся и рассказал то, что, впрочем, можно было и предполагать. Был такой известный в Москве литератор по фамилии Эльсберг. Человек довольно блестящий, известный прежде всего своими книгами о Герцене, большой говорун, любитель рассказывать всякие истории, – не только ученый, но и, так сказать, светский человек. О нем ходили плохие слухи. Говорили, что он причастен к аресту Бабеля».
О том же рассказывала Ефиму Эткинду жена арестованного во времена борьбы с космополитизмом Евгения Штейнберга. Будто бы на первом свидании он через двойную решётку прокричал жене: «Яков!» Правда, Лилиана Лунгина описала этот момент истины несколько иначе:
«Штейнберг, который в ходе допросов совершенно ясно понял, кто его посадил, сумел написать записочку во время пересылки и выбросить ее из вагона. И вот нашелся добрый человек, который эту записку положил в конверт – там был адрес написан – и доставил. И жена получила эту записку, где было сказано, что во всем виноват Эльсберг».
Вот и приговорённый в 1941 году к исправительным работам литературовед Сергей Макашин тоже высказывал подозрения о роли Эльсберга в своём аресте:
«Между тем в связи с моим сближением с Эльсбергом я получил несколько предупреждений держаться подальше от этого человека. О каких-то неясных, тёмных сторонах жизни и "деятельности" Эльсберга мне говорили и прямо и обиняком… Намекали мне и на морально-бытовую нечистоплотность Эльсберга. Ссылались на прямую уголовщину, связывавшуюся с его именем в редакции "На литературном посту"».
По-прежнему, это всё не более чем слухи и догадки. Нельзя же доказательством вины считать такой пассаж из книги Николая Любимова:
«Взгляд у этого человекa был сложным. Это взгляд мaтерого зверя – зверя, высмaтривaющего добычу, уверенного в силе своей хвaтки и в то же время зверя пугaного, зверя трaвленого, зверя, которому все еще чудится зaсaдa».
Однако на волне хрущёвской оттепели домыслы, возникшие в результате приватных разговоров, постепенно трансформировались в форму обвинений. Макашин, Пинский и Штейнберг направили в партком Союза писателей заявления, в которых изложили своё мнение об Эльсберге. В частности, Леонид Пинский написал:
«Превратно излагая содержание многих бесед с ним на литературные темы, Эльсберг охарактеризовал мои убеждения и высказывания в духе, желательном для органов, которыми руководил тогда Л. Берия. Лишь на основе этих показаний, повторенных Эльсбергом и на суде, я был осужден – недаром в приговоре по моему делу в качестве свидетеля обвинения назван только Эльсберг».
Этим заявлениям долго не давали хода, поскольку требовалось документальное подтверждение роли Эльсберга в осуждении своих коллег, да и сам Эльсберг все обвинения отрицал. И только в ноябре следующего года Яков Эльсберг под давлением улик решился на публичное признание:
«Да, я всё это писал. Я писал правду, они действительно это говорили: я не прибавил ни одного слова, и я не ответственен за те выводы, которые из этого делались. И я считаю свою деятельность глубоко патриотической».