После долголетнего пребывания в Омске, в начале 90-х гг. происходит в личной жизни Ковнера крупное событие. Он женится уже в 50-летнем возрасте на молодой девушке, только что окончившей гимназию, по-видимому, ученице своего друга Кремянского. Для брака с христианкой Ковнер за две недели до свадьбы принимает крещение.
Общий симпатичный облик этой последней подруги Ковнера довольно отчетливо вырисовывается из его рассказов. «Она не шутя меня полюбила, — сообщает он в своем автобиографическом очерке „Хождение по мытарствам“, — и согласилась разделять со мною мою скромную долю и мое одиночество». «Моя жена, — писал он Розанову, — когда была гимназисткой и когда я еще был евреем, т. е. не принявшим православия, полюбила меня, и по окончании гимназии отказала некоторым претендентам, офицерам и русским молодым чиновникам и вышла за меня — старика почти. Крестился же я по необходимости — всего за 14 дней до венчания. Но это уже совсем из другой оперы, о которой когда-нибудь, быть может, более подробно, потому что крайне любопытно и даже поразительно…»
Роман этого стареющего чиновника с юной гимназисткой действительно необычен. «Я был первой ее идеальной любовью, — сообщает Ковнер Розанову, характеризуя свою жену как крайне мягкую и привязчивую натуру с уравновешенным темпераментом, с глубоко правдивым характером. — В нашей семейной жизни, несмотря на громадную разницу лет, воспитания, привычек и проч., мы счастливы в полном смысле слова». И когда несколько позже, уже незадолго до смерти, Ковнер вступает в период старческих недугов, прочность его союза оправдывается в полной мере: «Единственное успокоение, что у меня есть „единственная“, которая с ангельским терпением и беспредельной любовью переносит все мои капризы и лелеет, как малого и милого ребенка».
Внешних сведений об этой последней спутнице Ковнера у нас немного. Она происходила из Перми. Розанов, видевший ее в 90-х гг., отзывается о ней как о «молодой женщине типа курсистки» и, по-видимому, говорит о ней, называя в своих примечаниях к статьям Ковнера «Анну Павловну»… Вот все, что можно пока установить о ней.
Но в первом же месяце их семейного счастья Ковнеру приходится пережить служебную катастрофу. В контроле сменяется начальство. Сразу же определяется враждебное отношение к чиновнику-еврею. Попытки приноровиться к новым условиям ни к чему не приводят, и вскоре Ковнер оставляет службу.
Начинаются скитания в поисках нового места по некоторым торговым городам, заезд в Варшаву, прибытие в Петербург. После долгих и упорных исканий Ковнер получает место в Ломжинской контрольной палате. В 1901 г. он занимал здесь место помощника ревизора и получал 1200 рублей в год. По-видимому, это последнее место Ковнер получил не без содействия своего прежнего обвинителя, в то время уже министра юстиции, В. Н. Муравьева, к которому в отчаянную минуту обратился за помощью. Во всяком случае, он имел возможность в 1897 г. лично передать Муравьеву свою «Записку» об облегчении положения евреев в России, в которой настаивает на предоставлении полноправия своим соплеменниками, как активным участникам русской государственной жизни.
В Ломже восстановилась прежняя спокойная жизнь. Обилие свободного времени — служба отнимала не более 3-4-х часов в день, страстное чтение столичных журналов, газет и новых книг, попадающих иногда и в западное захолустье, литературная работа — почти исключительно для себя, и неугасимая потребность зорко следить за всеми событиями русской общественной жизни и давать на них своеобразный, часто заглушенный, но нередко энергичный и сильный отзвук.
Лишенный журнальной трибуны, потерявший возможность выступать с публицистическим словом, он высказывается на волнующие его темы в письмах к писателям и журналистам. Голос его таким путем нередко доходит и до читателя.
Так он пишет нововременскому Столыпину с протестом против бесцельных жестокостей, практикуемых при отправке политических ссыльных, обреченных и без того почти на верную смерть в сибирских тундрах — и своим письмом вызывает журналиста на ответ в газете. Под непосредственным впечатлением кишиневского погрома он посылает замечательное письмо Розанову; свою записку о евреях он собирается доставить Суворину. Вообще он преимущественно штурмует своей негласной публицистикой нововременскую цитадель реакционной и антисемитской мысли.
Социальная неправда текущей современности глубоко волнует его. «Ах, как тяжело жить в настоящее подлое время. Газеты буквально отравляют мне жизнь. А не читать не могу…»
Но в Ломже он чувствует свое глубокое одиночество. В массе знакомых он не находит ни одного человека, с которым можно было бы побеседовать на волнующие темы. К довершению этого горестного состояния затихает переписка с умирающим Кремянским — заочным, но все же верным и живым собеседником. Духовное безлюдье растет вокруг него и пугает своей безнадежностью.
В 1901 г. Ковнер вступает в переписку с Розановым.