В ночь с 16 на 17 мая 1934 г. Мандельштама арестовали. На Лубянке он признался, что читал стихотворение следующим людям: жене Надежде, брату Александру Мандельштаму, брату жены Евгению Яковлевичу Хазину — литератору, подруге жены Эмме Григорьевне Герштейн — сотруднице ВЦСПС, Анне Ахматовой — поэтессе, ее сыну Льву Гумилеву, Давиду Григорьевичу Бродскому — литератору, Борису Сергеевичу Кузину — сотруднику зоологического музея, Марии Сергеевне Петровых — молодой поэтессе.
Мандельштам назвал девятерых, о которых следователь был осведомлен. Кроме них стихи о Сталине слышали еще восемь человек, но следователь их не назвал, и Мандельштам промолчал. Остался не упомянут, например, Пастернак. Пастернак пошел просить за Мандельштама в «Известия» к Н. Бухарину, а Ахматова — к Авелю Енукидзе, в Кремль.
Возможно, это заступничество известных поэтов и Николая Бухарина сыграло свою роль. Известен факт звонка Сталина Пастернаку, в котором предметом разговора был Мандельштам.
Резолюция Сталина была: «Изолировать, но сохранить». И вместо расстрела или лагерей — неожиданно мягкий приговор: ссылка вместе с женой, Надеждой Мандельштам, в город Чердынь-на-Каме Пермской области. Возможно также, что вождю невыгодно было убивать поэта. Стихи казненного звучат сильнее.
В Чердыни у Мандельштама были приступ душевной болезни и попытка самоубийства. Он выбросился из окна больницы и сломал плечо.
Жена и брат обратились в ОГПУ, чтобы Мандельштаму поменяли место ссылки, так как в Чердыни не было квалифицированной медицинской помощи. Вопрос был решен за полмесяца — действовала сталинская резолюция. Осип и Надежда переехали в Воронеж.
У Мандельштама были и другие стихи, за которые грозила кара. В декабре 1930 г. он написал стихотворение «Ленинград», которое по недосмотру напечатала «Литературная газета»:
Тогда Мандельштаму пригрозили арестом.
В Воронеже Мандельштам пробыл до 1937 г. Жил нищенски, сперва на мелкие заработки, потом на скудную помощь друзей и постоянно продолжал ждать расстрела.
После воронежской ссылки Мандельштам почти год живет в окрестностях Москвы, по словам А. Ахматовой, «как в страшном сне».
Разрешения жить в столице Мандельштам не получил. Работы не было. И вдруг в начале весны 1938 г. секретарь Союза писателей СССР Ставский, на прием к которому безуспешно пытался попасть Мандельштам, но который так и не принял поэта, — именно он предлагает Мандельштаму и его жене путевки в Дом отдыха «Саматиха», причем на целых два месяца. Как оказалось, это было сделано специально, чтобы поэта легко было найти.
30 апреля 1938 г. был подписан ордер на новый арест поэта. 1 мая 1938 г. в Доме отдыха О. Мандельштама арестовали во второй раз…