В 20-е годы публикуются и прозаические произведения Брауна: повести «Самосуд» («Сибирские огни», 1925, № 1) и «Шахматы» («Сибирские огни», 1923, № 4). Бывший левый эсер и левонародник, он совершенно отходит от политической деятельности, посвятив себя литературе. Однако это не спасает: тучи уже сгущаются над головой автора. Аресты. Ссылка. В 1928 году — возвращение в Москву. «Теперь уже в литературно-театральные журналы путь закрыт, — вспоминает дочь. — Рабочий редактор журнала… “Скотоводство”. Но это работа, дающая средства к существованию, квартира в городке животноводов под Москвой. Все свободное время — работал над новыми статьями, повестями, романом (увы, так и не увидевшими свет)».
В 1933 году — новый арест. Яков Браун приговорен к высылке из столицы. «9.8.1933 под конвоем привезен в Самару… Самара встретила голодом Поволжья, изматывающей малярией, безработицей, нуждой… Работа (путь ее — от экономиста пивоваренного комбината до преподавателя литературы в учебном комбинате 106-го артиллерийского полка, зав. литчастью Самарского драматического театра)… Снова много писал. На положении ссыльного. Не печатали. Работал в стол, вернее, в ящик».
Но вот кончился срок ссылки. Казалось, все теперь наладится, впереди замаячила надежда. Именно тогда его и взяли. «Мне было 9 лет, — пишет С. Я. Рязанова. — Но я очень хорошо помню 9 февраля. Утро не предвещало катастрофы. Отец подшучивал надо мной, второклассницей, поцеловал, прощаясь (никто из нас и не предполагал, что это навсегда)». Тогда-то и забрали при обыске ящик, в который он складывал рукописи, будучи в ссылке. А 17 декабря 1937 года Яков Браун был расстрелян.
Долгое время семья об этом не знала.
«Слабая, но все-таки надежда жила в нас,
— вспоминает дочь. — Мы всегда его ждали, любили, верили. А он даже Оттуда сумел пару раз ободрить нас: два письма, полных уверений, что скоро будем вместе, просил “Шахматный вестник” для него покупать… Ни на какие запросы мамы ответа не было. Не было, и когда кончились война и “десять лет без права переписки”. Была реабилитация. В оттепель 1956 года. С датой смерти все оставалось туманным».