До сих пор остается неустановленной точная датировка романса и легшего в его основу стихотворения А.А. Дельвига. Одно неоспоримо — они возникли в период тюремного заключения композитора. Между объявлением приговора и отправкой осужденных в Сибирь рождаются еще два романса, о чем будет немедленно уведомлен Бенкендорф. Бенкендорф докладывает Николаю: «Ныне отправление их в Сибирь погрузило московскую публику в глубокое уныние. Мне представили из Москвы два изданные на этот случай романса, под заглавием „Разлука с милой“ и „Прощание с соловьем“». Интерес III Отделения к алябьевским произведениям не случаен. Несправедливость приговора воспринимается как продолжение трагедии декабристов. Именно так интерпретирует его в своих записках Н.И. Лорер.
Место ссылки композитора — Тобольск. И первые сложности, не предусмотренные III Отделением. Гостеприимство в отношении ссыльного тобольчан, музыкальные вечера с множеством любителей и — покровительство генерал-губернатора Западной Сибири И.А. Вельяминова. Ветеран войны 1812—1814 гг. и Финляндского похода не только уважительно настроен к Алябьеву, но через три года сделает серьезную попытку помочь ему вернуться в Европейскую Россию. Четыре врача дадут заключение о тяжелом состоянии здоровья композитора и надвигающейся слепоте, что даст основание генерал-губернатору обратиться к Бенкендорфу с просьбой ходатайствовать перед императором. Результат — разрешение на временное лечение ссыльного на Кавказе. В январе 1828 г. Алябьев в сопровождении урядника направляется в Ставрополь.
Новые места и не менее деятельный новый покровитель, младший брат Вельяминова, только что назначенный командующим войсками Кавказской линии и начальником Кавказской области. Алябьев получает здесь свободу передвижения. Со своей стороны начальник Кавказа делает все возможное, чтобы не возвращать Алябьева в Тобольск. Очередное ходатайство перед Петербургом — очередной ответ, переводивший Алябьева в еще более губительный для его здоровья Оренбург. В сентябре 1833 г. А.А. Вельяминов вынужден отправить композитора под караулом казака.
Но и оренбургский военный губернатор В.А. Перовский встречает Алябьева с распростертыми объятиями. Приятель Пушкина и Жуковского, в прошлом член декабристского Военного общества, он принимает в нем самое живейшее участие. Прежде всего он добьется для композитора права вступить на гражданскую службу, правда, только по Оренбургу. Но В.А. Перовский тут же направит Алябьева в Москву под вымышленным предлогом — осуществлять «надзор за находящимися в Москве для обучения разным мастерствам малолетками казачьих войск». В своем письме композитору он пояснит: «Это поручение имеет целью более доставить вам возможность лечиться, нежели обременять вас хлопотами».
И все же в борьбе за Алябьева В.А. Перовский переоценил свои силы. Бенкендорф осведомлен о нарушении и не замедлит сделать соответствующее внушение начальнику московского жандармского округа. Но даже после этой меры В.А. Перовский оставляет за Алябьевым право жить в Москве. Более того. Через несколько месяцев он решается на открытое выступление в его защиту и просит Бенкендорфа содействовать Алябьеву в получении разрешения на постоянное жительство в старой столице, правда, с нейтрализующей остроту вопроса оговоркой: «чтобы пользоваться пособиями искуснейших медиков».
Бенкендорф, как всегда, обстоятельно и как бы бесстрастно излагает существо просьбы. Николай накладывает резолюцию: «Генерал-адъютанту Перовскому заметить, что он не имел никакого права командировать его без испрошения моего дозволения, а Алябьева выслать на жительство в Коломну, уволив от службы. 24 апреля 1842 года».
По счастью, новая ссылка оказывается недолгой. Спустя год сам главнокомандующий Д.В. Голицын дает разрешение Алябьеву проживать в Москве, но под строжайшим полицейским надзором и без права показываться на публике. Отношение генерал-губернатора к композитору ни в чем не изменилось, и его снисходительность может быть объяснена только прямым указанием двора. Старая история оказывалась завершенной — сама по себе, без участия императора и без снятия вины. Полулегальное существование на задворках жениного дома, без надежды на изменение положения.