Свободный образ жизни молодого поэта в те годы не мог не бросаться в глаза. 29 ноября 1963 года в «Вечернем Ленинграде» появился фельетон некоего Лернера, руководителя так называемой народной дружины – «Окололитературный трутень». «Главным объектом внимания этой дружины, – рассказывал Бродский Волкову, – была гостиница „Европейская“, где останавливалось много иностранцев. Как вы знаете, она расположена на улице Исаака Бродского, так что, может быть, этот господин стал проявлять ко мне интерес именно из этих соображений? Охотились они главным образом за фарцами. И между прочим, когда эти дружинники фарцовщиков шмонали, многое у них прилипало к рукам – и деньги, и иконы. Что касается Лернера, то он вообще был никто. Такой отставной энтузиаст со слезящимися глазами…» Тем не менее, газетный фельетон подействовал, ибо тунеядцы тогда преследовались законом, – а разве поэт, человек, формально не работающий, не подходил идеально под такое понятие? Опасаясь нехороших последствий, Бродский почти всю зиму провел на дачах у знакомых, иногда уезжал в Москву, даже пытался устроиться на работу, но 13 февраля 1964 года, при возвращении из Тарусы в Ленинград, был все же арестован. 18 февраля состоялся скорый суд, отправивший Бродского на психиатрическую экспертизу, где он был признан вменяемым. А 13 марта второй суд приговорил Бродского к пяти годам принудительных работ на Севере. Этапом поэт был отправлен в деревню Норенская Коношского района Архангельской области. «Какую биографию творят нашему рыжему! Как будто он кого-то нарочно нанял!» – воскликнула, узнав об этом, Ахматова.
«Раз в месяц, – рассказывал Бродский Волкову, – приезжали ко мне устраивать обыск из местного отделения. Два человека приезжали на мотоцикле, входили ко мне в избу. Замечательная у меня была изба, между прочим. Отношения – самые патриархальные. Я понимал, зачем они приехали. Они: „Вот, Иосиф Александрович, в гости приехали“. Я: „Да, очень рад вас видеть“. Они: „Ну, как гостей надо приветствовать?“ Ну, я понимаю, что надо идти за бутылкой. Возвращался я с бутылкой минут через сорок-пятьдесят, когда дело было уже сделано. Они уже сидели всем довольные, поджидали меня. Да и что они могли понять во всех этих книжках, которые там валялись? Тут мы садились и распивали эту бутылку, после чего они уезжали…»
В сентябре 1965 года благодаря вмешательству видных деятелей европейской культуры и таких подвижников, как Фрида Абрамовна Вигдорова, опубликовавшая на западе записи судебного процесса, Бродский был досрочно освобожден. «Вчера утром вдруг – Иосиф, – записала в дневнике 1 декабря 1965 года Л. К. Чуковская. – Был у Гитовича, который отбирает с ним его стихи для книги. Чудеса!.. На днях он с успехом выступал в Союзе на семинаре молодых, все хвалили. Кетлинская („она всегда на два шага впереди прогресса“, – говорит о ней Дар) в восторге и обещает напечатать его стихи. Ездил он в Москву, видел трижды в больнице АА (Ахматову) и получил множество переводов – в „Прогрессе“ и в Гослите. Все, казалось бы, хорошо. Но он грустен, темен, тяжел, невнятен. Два раза его слова полоснули меня по сердцу. Я позвала его обедать. Мы вообще-то всегда в складчину кормим всех гостей – жен Гладкова и Ляленкова, Наташу Долинину и пр. А тут был обед уехавшего Дара. Так что я звала Иосифа уверенно. Он пошел – по двору шел очень лихо, руки в брюки, свистал. И вдруг на крыльце: „А меня там никто не унизит?“ За столом быстро познакомился с Гладковым, поговорил с ним о Цветаевой. Вернулся в комнату, сел. И вдруг: „Если бы меня хоть через день кормили таким обедом, я бы перевел все на свете…“
В эти же годы вышла в Нью-Йорке книга Бродского «Стихотворения и поэмы», затем появились издания в Голландии, в Германии, во Франции. Скандальный оттенок нарастающей известности, несомненно, мучил самого Бродского, но привлекал к нему людей. «Когда я только освободился, – рассказывал поэт, – интеллигентные люди всячески меня, что называется, на щите носили. И Евтушенко выразил готовность поспособствовать моей публикации в „Юности“, что в тот момент давало поэту как бы „зеленую улицу“. Евтушенко попросил, чтобы я принес ему стихи. И я принес стихотворений пятнадцать-двадцать, из которых он в итоге выбрал, по-моему, шесть или семь. Но поскольку я находился в это время в Ленинграде, то не знал какие. Вдруг звонит мне из Москвы заведующий отделом поэзии „Юности“. Ну, вот звонит он и говорит, что, дескать, Женя Евтушенко выбрал для них шесть стихотворений. И перечисляет их. А я ему в ответ говорю: „Вы знаете, все это мило, но меня эта подборка не устраивает, потому что уж больно „овца“ получается“. И попросил вставить его хотя бы еще одно стихотворение – как сейчас помню, это было „Пророчество“. Он чего-то там заверещал – дескать, мы не можем, это выбор Евгения Александровича. Я говорю: „Ну это же мои стихи, а не Евгения Александровича!“ Но он уперся. Тогда я говорю: „А идите вы с Евгением Александровичем… по такому-то адресу“. Тем дело и кончилось…»