Важнейшим событием в России при митрополите Варлааме было взятие и воссоединение с нею города Смоленска, более ста лет находившегося под властию князей литовских. Вслед за тем последовало и присоединение Смоленской епархии к митрополии Московской от Литовской. Но это радостное событие как для государства, так и для Церкви имело свою и печальную сторону. Смоленским епископом был тогда Варсонофий. Он явился первым ходатаем пред Василием Иоанновичем, осаждавшим Смоленск, и во главе всего духовенства и граждан предложил великому князю сдачу города. Он же потом, когда жители начали присягать в верности русскому государю, сам добровольно произнес такую же присягу, хотя государь от него этого не требовал. Он со всею торжественностию встретил (1 августа 1514 г.) Василия Иоанновича, вступавшего в Смоленск, и после молебствия в соборной церкви и многолетия приветствовал князя следующими словами: "Божиею милостию радуйся и здравствуй, преславный царь Василий, великий князь всея Руси и самодержец, на своей отчине и дедине, в городе Смоленске, на многие лета". И что же? Едва успел великий князь выехать из Смоленска (10 сентября), как туда пришла весть о кровопролитном бое русского войска с литовским под предводительством князя Константина острожского, происходившем 8 сентября на левом берегу Днепра у Орши, и о совершенном поражении русских. Весть эта поразила всех в Смоленске, особенно же некоторых бояр и епископа; думали, что русские теперь не в силах уже отстоять город; не могли не ожидать страшных для себя последствий и казней от литовского государя. Под влиянием таких мыслей епископ в согласии с некоторыми боярами поспешил отправить к королю Сигизмунду своего племянника с известием: "Если теперь двинешься к Смоленску сам или пошлешь воевод со многими людьми, то возьмешь город без труда". Но другие бояре и мещане передали об этом умысле наместнику русского государя в Смоленске князю Шуйскому, который немедленно велел схватить заговорщиков. И хотя вскоре князь острожский явился под Смоленском с шеститысячным отрядом, но не имел никакого успеха: все злоумышленники в городе, на которых он рассчитывал, были повешены на городских стенах в виду литовского войска за исключением одного Варсонофия. А этот несчастный епископ был потом отправлен к великому князю Василию Иоанновичу, который приказал сослать его на Кубенское озеро в Каменный монастырь. Нового епископа на Смоленскую кафедру избрали в Москве из своих, именно чудовского архимандрита Иосифа. В половине февраля 1515 г. он был рукоположен митрополитом Варлаамом, а в марте отправился в Смоленск.