Начальство принимало все меры, чтобы «завинтить» тюрьму. Котовского не смущали неудачи. Одно время он готовил побег через крышу, потом собирался бежать «на ура», среди бела дня. Не проходило и месяца, чтобы в тюрьме не был обнаружен новый подкоп. Стены тюрьмы были крепко зацементированы. Каждый камешек приходилось выламывать с трудом. Работали по одиночке, стальными сверлами и зубилами. Котовскому удалось получить с воли жидкость, облегчавшую сверление. И не раз, когда все уже бывало подготовлено, тюремные ищейки при помощи провокаторов обнаруживали подкоп то в башне, то в стене. Несмотря на то, что за Котовским усиленно следили, он и его товарищи получали с воли и оружие, и необходимые инструменты.
Тюремная стража жила в вечном ожидании неприятных сюрпризов от Котовского. Начальник тюрьмы и местный исправник долго хлопотали, чтобы кишиневскую тюрьму избавили от Котовского. Только при этом условии они обещали навести в тюрьме порядок.
8 февраля 1908 года, по распоряжению главного тюремного управления, Григория Котовского в отдельном арестантском вагоне отправили в город Николаев, в особую, образцовую тюрьму, специально предназначенную для самых отчаянных беглецов с каторги.
«Одиночный режим в течение двух с половиной лет, с прогулкой по пятнадцать минут в сутки, полной изоляцией от живого мира. На моих глазах люди гибли от этого режима десятками, и только железная воля и решение во что бы то ни стало быть на свободе, жажда борьбы, ежедневная тренировка в виде гимнастики спасли меня от гибели», — писал Котовский в своей автобиографии о годах, проведенных в николаевском централе.
Никакие испытанные средства: ни пилки, ни отмычки, ни веревки — не могли ему помочь.
На свидания к нему не допускали. Он не знал даже тех, кто сидит в соседних одиночках. Но он не чувствовал себя обреченным и, как всегда, думал о побеге. Он решил вырваться из николаевской каторжной тюрьмы, подняв дело Зильберга, который в свое время так подло предал его.
Котовский написал о проделках Зильберга в департамент полиции. В своем заявлении он в качестве свидетелей, назвал других своих дружинников, отбывавших срок наказания в разных тюрьмах. Делу был дан ход.
Котовский отказывался давать какие-либо показания, пока он находился в николаевской тюрьме.
Зимой 1910 года тюремщики были вынуждены доставить его в Кишинев как свидетеля по делу Зильберга. Из других тюрем и централов прибыли другие свидетели, на которых сослался Котовский в своем заявлении. Среди них были и его верные дружинники. Все это он сделал для того, чтобы из кишиневской тюрьмы или из здания суда организовать побег «свидетелей».
Зильберга судили вместе с его начальником, приставом Лемени-Македони. Это нашумевшее тогда дело слушалось выездной сессией Одесской судебной палаты.
Котовского вызвали в суд для дачи показаний. Он снова встретился здесь со многими кишиневскими полицейскими, которых знал в лицо. Он помнил их проделки, и, выступая свидетелем на суде, с сарказмом рассказывал о делах кишиневской полиции, о бывшем полицмейстере бароне Рейхарде, который присваивал себе найденные краденые вещи.
Барон Рейхард на суде не присутствовал, его заблаговременно перевели на другую должность, и к суду он не привлекался. Зильберг же и его начальник были приговорены к четырем годам каторги.
Котовский начал готовить свой новый вооруженный побег. Но кишиневское тюремное начальство стремилось как можно скорей избавиться от Котовского. Надзиратели были с ним необычайно вежливы. Они называли его по имени-отчеству, и каждый просил, что если он вздумает бежать, то пусть только не в его дежурство. Котовский же предъявил тюремному начальству свой ультиматум: он грозил большими неприятностями, если только его вздумают отправить обратно в николаевский централ. Тюремщики знали, что Котовский не шутит, и вскоре пришло распоряжение направить его в Смоленск.
26 марта 1910 года Котовский прибыл в смоленскую каторжную тюрьму.
Начальник смоленского губернского жандармского управления «совершенно секретно, лично» уведомлял заведующего особым отделом департамента полиции о прибытии Григория Котовского, характеризуя его в своем донесении: «постоянно стремящийся к побегу».
В кишиневской тюрьме власти считались с Котовским. Их пугала его слава в Бессарабии. В смоленской же тюрьме к нему отнеслись как к обыкновенному преступнику. Котовский, как и раньше, держался независимо. Это раздражало тюремщиков. Они решили его проучить. Однажды стражники присвоили себе передачу, принесенную одному заключенному. Котовский запротестовал. Тогда несколько стражников набросились на него и свалили на пол. Один из них сел на Котовского, другие начали его бить. Удары сыпались со всех сторон. Закованный в ручные и ножные кандалы, Котовский не мог сопротивляться. Его били, а он страдал не от боли, а от бессилия, от того, что не мог разбросать в стороны этих крыс, одетых в царские мундиры. Все его мускулы напрягались. Движением плеч старался он сбросить с себя тюремщиков.