Холмогоры, родина Михаила Ломоносова, тоже уездный город и тоже очень маленький. Несколько улочек, обстроенных деревянными домишками, в которых ютились едва полторы тысячи жителей, несколько старинных церквей, несколько лавок… На улицах — никакого движения, тишина, лишь изредка пройдет, спотыкаясь в сугробах, обыватель да пробежит собака.
Жить по-прежнему тяжело, но постоянное общение с природой севера России, с его людьми вскоре привело к тому, что Ворошилов полюбил и этот суровый и прекрасный край, поневоле ставший ему тюрьмой. Он полюбил Двину. Обычно нахмуренная и недоброжелательная, весной, когда солнце заливает зелень лугов, река, отражающая лазоревый свод неба, преображается, становится неузнаваемой. Особенно хороша она летней ночью, когда и в час, и в два пополуночи — ни сумерек, ни густых теней. Воздух, молочно-белый, затапливает далекие горизонты. И Двина кажется безмятежно кроткой…
Надежды полиции на то, что перемена места ссылки скажется на поведении Ворошилова, не оправдались. По-прежнему он заводила во всех предприятиях колонии ссыльных, он весел и общителен, знаком чуть ли не со всеми обитателями Холмогор и, уж конечно, со всеми своими товарищами-ссыльными. В Холмогорах же он познакомился с Екатериной Давыдовной Горбман. Еще в 1907 году двадцатилетняя одесситка была сослана на север за революционную деятельность. Молодые люди полюбили друг друга и вскоре поженились.
Поселился Ворошилов поначалу в угловой комнате второго этажа дома Т. П. Песошниковой на Никольской площади. В комнате жили трое: Ворошилов, Овсей Захарин и Иосиф Йзбицкий. Всего же в доме и флигеле проживало 14 ссыльных. К ним все время приходили другие «поднадзорные», и дом стал центром колонии. Такой «рассадник смуты» не мог остаться без внимания полиции.
С точки зрения полиции, Ворошилов очень беспокоен. Он организует протест холмогорской колонии против репрессий в тюрьмах и собирает деньги в пользу пострадавших, он помогает товарищам устраивать побеги, он устанавливает связь с подпольным Красным Крестом, получает деньги на содержание столовой и библиотеки для ссыльных, он ведет обширную переписку. При обыске 21 июня 1910 года полиция отбирает у Ворошилова более 40 писем, а 30 января 1911 года — 128 писем.
После обыска 21 июня против 13 ссыльных было возбуждено дело. В декабре 1910 года дознание закончено, и полиция боится, что Ворошилов скроется вторично. 28 января 1911 года холмогорский исправник получает две телеграммы: «Предупредите побег Ворошилова…», «Произведите обыск. Произведите аресты…»
15 февраля у Ворошилова вновь проводят обыск и вместе с группой других ссыльных сажают в арестантскую камеру при уездном полицейском управлении. Через два дня начальник архангельского губернского правления просит губернатора послать беспокойного ссыльного в более отдаленное место — в Кемь. На следующий день согласие на эту «меру предосторожности» получено. Ворошилова переводят в губернскую тюрьму, где он должен ждать отправки в Кемь.
Но отправка эта не состоялась, потому что Ворошилова привлекают к следствию по делу холмогорской группы политических ссыльных. Перед нами секретное дело канцелярии архангельского губернатора (по особо секретному столу) о поднадзорных: Клименте Ворошилове, Иосифе Избицком и Василии Липаеве:
«Высланный под гласный надзор полиции в Архангельскую губернию за революционную деятельность и подстрекательство рабочих к забастовке Ворошилов вошел в состав Холмогорской группы политических ссыльных, причем активная деятельность его в этом направлении выразилась в агитации среди ссыльных Архангельской губернии, направленной к возбуждению в них революционных стремлений…»
Срок надзора для Ворошилова кончался 28 июля 1911 года. Жандармов очень беспокоило, что он, «находясь по сему делу под стражей в Архангельской губернской тюрьме, старался восстановить заключенных против администрации, за что и подвергался неоднократным наказаниям».
Действительно, Ворошилов вел себя и в тюрьме независимо, а по временам с точки зрения тюремной администрации и дерзко. 19 мая в знак протеста против нарушения тюремщиками правил содержания заключенных он объявил голодовку и голодал до 24 мая. Одновременно Ворошилов призывал к выражению недовольства и товарищей по камере. «Ввиду такого неодобрительного поведения Ворошилова, — отвечал начальник тюрьмы на запрос губернского жандармского управления, — последнее время он был совершенно изолирован от других арестантов и помещен в отдельную камеру». С февраля по август 1911 года трижды попадал Ворошилов в изолятор и просидел там в общей сложности три недели.
Тем временем следствие продолжалось, и окончание его грозило Ворошилову суровым наказанием: ввиду «крайне вредной деятельности» архангельские жандармы предлагали выслать его еще на три года, но уже гораздо дальше — в Восточную Сибирь. К счастью, все обошлось «хорошо»: 20 июля 1911 года министр внутренних дел решил оставить Ворошилова под надзором в Архангельской губернии еще на год.