Идейные споры о новом понимании искусства и возникающие в результате этого писательские конфронтации втягивают Нарбута в круг окололитературных баталий и интриг. Поглощённый партийной и литературно-организаторской деятельностью, он поневоле попадает в течение сложного и неоднозначного социально-политического процесса, что приводит его к падению с высоты административной системы: неожиданно появляются свидетельства о том, что в деникинской контрразведке Нарбут письменно отрёкся от своей большевистской деятельности. По мнению ряда исследователей, инициатором «разоблачения» Нарбута является его идейный оппонент А.К. Воронский, но есть и другие мнения на этот счёт. Во всяком случае, Воронский был не единственным, кто приложил свою руку к его участи, о чём написала в своей «Второй книге» Надежда Яковлевна Мандельштам:
«Горестная судьба Нарбута не связана с его принадлежностью к акмеистам. Он погиб вместе с толпами партийцев ранних призывов, почему-либо отколовшихся от главного течения, а попался на глаза в доме вдовы Багрицкого, сестры его жены [Лидии]. Сёстры Суок считают, что дело было состряпано небезызвестным [Валерием Яковлевичем] Тарсисом, одним из постоянных посетителей вдовьего салона. Вот, казалось бы, осторожность: только и ходил, что к вдове любимого советского поэта, но гибель подстерегала человека повсюду. Впрочем, уцелеть в положении Нарбута было почти невозможно – разве что только в яме в лесу, но ведь и леса прочёсывались густым гребнем…
Один из самых популярных рассказов тридцатых-сороковых годов выдает общую мечту честных советских людей: на Байкале в лощинке между горами жили старик со старухой, укрытые лесом, кустарником и горными вершинами. Они жили в таком уединении, что, по одним рассказам – в течение двадцати, по другим – тридцати лет, не видели ни одного человека «с большой земли». Экспедиция, которая случайно набрела на их избу, удивилась их блаженному неведенью и впервые сообщила им про войны и революцию.
Я не верю в существование идиллической пары. Либо старики притворялись, либо их выдумали мечтатели, тосковавшие по уединённой жизни и тишине. Ведь врач Пастернака тоже мечтал жить плодами своих рук на отшибе и в тишине. Такое случается только в сказках и в воображении советских людей. Я тоже мечтала о таком, но всюду и везде хуторян находил фининспектор, раскулачиватель, организатор, разоблачитель и, наконец, уполномоченные великих органов порядка, которые сумели бы приобщить любого отшельника и столпника к нормальной деятельности на воле или за колючей проволокой… Нигде бы Нарбуту не спрятаться, хотя иррациональная случайность иногда спасала людей вернее, чем ложбинка в горах. ‹…›
Издательскую деятельность Нарбут представлял себе на манер американских издателей детективов: массовые тиражи любой дряни в зазывающих пёстрых обложках… В нашей ханжеской действительности он не мог развернуться как делец и выжига и сам взял на себя особый искус – стал партийным аскетом. Ограничивал он себя во всём – жил в какой-то развалюхе в Марьиной роще, втискивался в переполненные трамваи, цепляясь за поручни единственной рукой – вместо второй у него был протез в перчатке, работал с утра до ночи и не пользовался никакими преимуществами, которые полагались ему по чину. (Не знаю, были ли тогда «пакеты», а если были, то от них бы он отказался.) Своё издательство «ЗиФ» («Земля и Фабрика») он взял нищим, а отдал процветающим, с большим капиталом в банке. После рабочего дня в издательстве он мчался в Цека, где занимал какую-то важную должность…»
Далее Надежда Мандельштам в той же «Второй книге» говорила: «О стихах в те годы он не помышлял и весь ушёл в партийные интриги. В противовес Воронскому, поддерживавшему «попутчиков», Нарбут выдвигал писателей, которых он сам называл «усачами». Другой характеристики для них он подобрать не мог. «Усачи», вероятно, принадлежали «Кузнице» или РАППу, но Нарбуту на это было наплевать. «Усатых» книг он не читал – этим занимались его подчинённые. Ничего, кроме партийного и коммерческого смысла книги, он знать не хотел. Единственный человек, которому он радовался, был Мандельштам, и торговался он с ним только для виду, чтобы по всем коридорам издательства гремел его голос и пугал и без того запуганных служащих, редакторов всех чинов и мастей. Они-то твёрдо знали, что «нашего хозяина» ничем не проймёшь…
И всё же они считали Мандельштама креатурой Нарбута, поскольку он не принадлежал к «усачам». После падения «хозяина» они ринулись травить Мандельштама. Нового начальника, Ионова, подвигнуть на это было легче лёгкого. Старый шлиссельбуржец (говорят, что над его кроватью висели кандалы), он отличался крутым нравом. Проще говоря, у него не все были дома: в Ленинграде, заведуя там «Госиздатом», он безумствовал, как хотел. Однажды, рассердившись на одного из служащих, он приказал продержать его часок-другой в лифте, остановленном между этажами. Кажется, он разделил общую участь и погиб, как все.