Для Бродского это не стало неожиданностью, его уже неоднократно арестовывали, но затем отпускали. У поэта еще оставалась надежда как-то отсидеться, устроиться на работу в глубинку, чтобы о нем забыли, но планам этим не дано было осуществиться. Рождество и Новый 1964 год Бродский встретил в психбольнице им. Кащенко в Москве, где пытался укрыться от преследований. Выйдя из «психушки» 5 января, он снова «уходит в подполье». Поэт уехал в Тарусу, где скрывался у своего друга В. П. Голышева. Там было написано последнее стихотворение на свободе, — «Воронья песня». В частном письме Бродский вспоминал: «Вернувшись из Тарусы в Ленинград, я был на следующий день арестован. Не будь Тарусы <...> это произошло бы раньше». Арестовали поэта 13 февраля, а 18 февраля состоялся первый суд, после которого Бродский был отправлен на психиатрическую экспертизу. 13 марта второй суд приговорил его к 5 годам принудительных работ на Севере. На процессе поэт, по свидетельству очевидцев, держался «с замечательным достоинством и мужеством». Его ответ на вопрос судьи: «Кто причислил вас к поэтам?» — «Я полагаю, что это от Бога» — цитировался, вероятно, чаще, чем любая из его стихотворных строк. Бродского приговорили к пяти годам ссылки и он был отправлен по этапу в деревню Норенская Коношского района Архангельской области.
«Какую биографию творят нашему рыжему! Как будто он кого-то нарочно нанял», — воскликнула Ахматова в 1964 году. Перипетии личной биографии были, несомненно, для поэта мучительны, но он, по свидетельству Евгения Рейна, воспринимал их как нечто неизбежное: «...не было никакого пессимизма, никакого распада, никакого нытья». Комплекс русского поэта — жертвы властей даже требовал подобного опыта как своеобразной инициации. Бродский, неизменно отказывавшийся во всех своих интервью возвращаться к теме процесса и ссылки («это был определенный зоопарк»), тем не менее, однажды не без юмора прокомментировал это следующим образом: «Получилось так, что я соединил в себе наиболее соблазнительные черты тем, что писал стихи и был евреем».
Ссылка в Норенскую стала своеобразной «Болдинской осенью» поэта. По окончании сезонных сельхозработ, располагая уединением и некоторым свободным временем, Бродский совершенствует свой английский язык, внимательно читает Т. С. Элиота, У. Х. Одена, невероятно много пишет. По мнению Рейна, посетившего вместе с Найманом поэта на его 25-летие, 24 мая 1965 года, «это был один из наиболее сильных благотворных периодов Бродского, когда его стихи взяли последний перевал. После этого они уже иногда сильно видоизменяются, но главная высота была набрана именно там, в Норенской, и духовная высота, и метафизическая высота».
Продолжая экспериментировать, поэт использует композиционные возможности барокко. Стихи становятся «текучими», резко повышается наличие скрытых (и пародируемых) цитат в тексте. Общей чертой барокко и классицизма является то, что — в противовес романтическому чувственному — был выдвинут принцип интеллектуального познания мира. И здесь мы сталкиваемся со стилистическим парадоксом эволюции Бродского — появлением в его «неоклассических» стихах вполне «романтической» иронии, которая, по определению Р. Якобсона, «преподносит нам одну и ту же вещь с противоположных точек зрения — то гротескно, то серьезно, то одновременно гротескно и серьезно». Если в произведениях раннего периода «романтическая ирония» как элемент стиля практически отсутствует, то в стихах «неоклассических» она зачастую является движущей силой стихотворения, организует его сюжет.
Окончательно «неоклассическая» позиция формулируется в «Стихах на смерть Т. С. Элиота» (1965). В основу их положена эпитафия Одена «Памяти У. Б. Йейтса». Строка Одена «Время... преклоняется перед языком и прощает его служителей» может служить эпиграфом к последующим размышлениям поэта о Языке и Времени. Но если в эпитафии Одена поэт сливается с памятью человечества и этим побеждает смерть, то для Бродского победа над временем и смертью осуществляется в самом факте поэзии, способности человека творить. Умирая, поэт празднует свою победу над Временем. Мотив слияния поэта с Временем посредством смерти и победы над ним посредством Языка становится в последующем творчестве Бродского доминирующим.