В камере у него случился первый сердечный приступ. Однако его направили не на лечение, а, как было заведено в то время, в психбольницу, где продержали 3 недели, причём несколько дней - в отделении для буйных.
13 марта состоялся показательный процесс по делу «тунеядца Бродского» - суд приговорил поэта к выселению из Ленинграда и пяти годам принудительных работ. Десять дней Бродский провёл в Крестах, затем был этапирован в Архангельскую пересыльную тюрьму. В апреле его доставили в районный центр Коноши.
Здесь на пути Бродского встретился начальник местной милиции Борис Одинцов. Он посоветовал выбрать самую глухую деревушку и затаиться, ведь поэта могли направить на лесоповал, где с больным сердцем он протянул бы недолго…
Иосиф выбрал деревню Норинская. Деревня действительно была отдалённой: 24 километра грунтовой дороги в распутицу с трудом преодолевал даже трактор.
10 апреля 1964 года Бродского приняли в бригаду № 3 в качестве рабочего. Он должен был разгребать навоз, заготавливать жерди для изгороди, выкорчёвывать камни с полей, пасти скот, с трактористом сеять озимые, лопатить зерно. Как вспоминали деревенские, у Иосифа всё это не очень-то выходило: стал заготавливать жерди - стёр ладони в кровь, а скот, пока Иосиф пропадал в зарослях малины, разбредался...
И всё-таки... «Когда я там вставал с рассветом и… шёл за нарядом в правление, то понимал, что в этот же самый час по всей, что называется, великой земле Русской происходит то же самое: народ идёт на работу. И я по праву ощущал свою принадлежность к этому народу. И это было колоссальное ощущение», - писал поэт.
Конечно, органы присматривали за ссыльным - в Норинскую являлись милиционеры из Коношей, проводили обыски. А как-то Бродского даже посадили в местную КПЗ - за опоздание из трёхдневного отпуска в Ленинград. Это было 23 мая, а 24-го Иосиф должен был праздновать свой 25-й день рождения. На юбилей приехали друзья, которым удалось вызволить Бродского из кутузки.
Бродский написал в Норинской около 80 стихотворений. В это время в стране да и в мире деятели культуры выступали за освобождение поэта. В конце концов, срок скостили с 5 лет до уже отсиженных 18 месяцев.
О пребывании в Норинской Бродский вспоминал: «Один из лучших периодов в моей жизни. Бывали и не хуже, но лучше, пожалуй, не было».