По приговору Верховного Уголовного Суда Валериана лишили чинов и дворянства и выслали в Сибирский городок Киренск. Это забытое Богом место городом можно было назвать с большой натяжкой. Жило там человек 700 и все они были такими дремучими провинциалами, что Голицыну не о чем было с ними говорить. Слово «театр» звучало для них совершенно абстрактно, о существовании библиотек кое-кто слышал, но пользоваться ими они считали непозволительной роскошью. Валериан очень образно описал свою жизнь родителям и они, стремясь помочь сыну, решили послать в Сибирь Василия Лазова. Он воспитывал всех их детей и к нему относились как к члену семьи. Голицыны собрали небольшую библиотеку, дали Лазову денег и двух крепостных и отправили в путь. В Иркутске Лазов сказал губернатору, что по торговым делам собирается в Киренск, где хочет поселиться с Голицыным и «наблюдать за его физическим и нравственным состоянием». Губернатор отпустил Лазова и казалось при этом закона не нарушил, но его мучили сомнения. Очень уж он боялся показаться снисходительным к государственным преступникам. Чтобы успокоиться он обратился к генерал-губернатору Восточной Сибири. Тот тоже не захотел брать ответственности на себя и написал подробное письмо Бенкендорфу. Однако даже всесильный шеф жандармов не отважился принять решение самостоятельно. Он доложил обо всем царю. Николай I потребовал объяснений у матери декабриста и Наталья Ивановна написала: «На вопрос, по какому случаю грек Лазов находится в Киренске объясняю, что более 20 лет он жил у нас в доме как друг и по собственной своей привязанности к нам и детям нашим просил согласия ехать в Киренск, т. к. от правительства не было запрещения на въезд и жительство в оных городах свободного состояния людям. Мы не только не отказали ему в том, но были совершенно уверены, что он не допустит нашего сына впасть в пороки, которые еще могут усугубить его положение».
Не увидев здесь нарушения государственных законов, Николай I приказал: «Крепостных отправить в Россию, а греку разрешить остаться в Киренске», но было уже поздно: Лазова выслали из Сибири.
В 1829 году Сибирь покинул и Голицын. По указу императора его отправили рядовым в действующую армию. Как ни унизительно было новое назначение, а все же лучше, чем заштатный Киренск. Ведь Валериан сражался за Родину, а рядом были друзья, с которыми его очень многое связывало. Иногда в их мятежную компанию приходили и офицеры, сочувствующие ссыльным. Перед лицом общей опасности люди становились сердечнее и проще, а субординация вдали от столицы была не такой уж строгой. Генерал Н.Н.Раевский, младший сын прославленного участника войны с Наполеоном, направляясь из Кавказской армии в Петербург, взял с собой конвой, в который в числе других разжалованных вошел и В.Голицын. В селении Гумры отряд попал в карантин и задержался на несколько дней. Там Раевского догнал адъютант военного министра Бутурлин, который вёз пакет своему начальнику. Бутурлин видел, что Раевский обращается с декабристами как с равными и донес министру о «послаблениях», допущенных генералом. Раевского тут же выслали из армии, а бунтовщиков раскидали по всему Кавказу. Но изолировать их друг от друга было невозможно: слишком уж много «друзей от 14-го» было у Николая I. Даже в глухой солдатской слободе, куда попал Голицын, оказался его Петербургский знакомый Корнилович. А однажды там остановился и Бестужев-Марлинский. Друзья не знали, как лучше принять дорогого гостя, чем его угостить. Разговорам не было конца. Они слушали и не могли наслушаться, говорили и не могли наговориться. Несколько дней пролетели как одно мгновенье. Все сроки отъезда Бестужева давно прошли и когда, наконец, он собрался, друзьям трудно было сдержать слёзы. Каждый чувствовал, что эта встреча для них последняя. Действительно вскоре Корнилович умер от лихорадки, Бестужев погиб в бою и Валериан окончил бы свои дни на Кавказе, если бы родственники не выхлопотали ему перевод в Ставрополь.
Там Валериан Михайлович поселился в доме доктора Майера и сразу же это место стало интеллектуальным центром города. К Майеру приходили люди, которых М.Ю.Лермонтов назвал «героями своего времени». Они спорили по любому поводу и Голицын с удовольствием принимал участие в их бурных дебатах. Оставаясь внешне спокойным, «он смело и умно защищал свои софизмы и большей частью не убеждая других, оставался победителем». Он был прекрасно образован, а голубая кровь чувствовалась в каждом его движении. «Казалось, у него не могло быть резких противоречий с политическими и религиозными взглядами Майера, – писал один из постоянных посетителей этого дома, – но оба одинаково любили парадоксы и одинаково горячо их отстаивали. Спорам не было конца и иногда утренняя заря заставала нас за нерешенными вопросами».