Такой бытовой уклад, все эти зеркала и стулья, шпаги и сабли, «карлы» в доме и многочисленная дворня, серебряные подсвечники и удобные экипажи, заморские попугаи и «конарейки», немецкие лошади и индийские утки, яблоневый сад и прочее сближает городскую усадьбу неграмотного Фетиева с дворянским укладом жизни в столице, причем не столько XVII, сколько XVIII в. Необычный для Вологды стиль жизни, подкрепляемый невиданными денежными ресурсами, заносчивостью и самоуправством хозяина, разительно выделял «Ганку Фетиева», в недавнем прошлом простого посадского человека, а ныне водившего дружбу с торговыми иноземцами и московской знатью, носившего золотые перстни с лазоревыми яхонтами, от сотен своих сограждан-вологжан.
Произвол, царивший в отношениях Фетиева с посадским миром, распространялся иногда и на семейные связи гостя. Он отражён в явочной челобитной таможенного подьячего Мишки Матаргина, женатого на сестре Фетиева Евфимии. Полагаем, это была его старшая сестра, вышедшая в 1660 г. уже во второй раз замуж. В 1678 г., когда Матаргин находился в Москве «для государева дела», гость силой взял сестру с мужнина двора «и мочью своею держал у себя по смерть свою, забыв страх божий, меня с нею разлучил». Лишь после кончины Фетиева Матаргин решился обратиться к патриарху Московскому Иоакиму и вологодскому владыке Гавриилу за помощью в деле возвращения в его дом своей жены. Эта явочная челобитная интересна как отражение простой человеческой жизни с её чувствами, страстями, правдой и ложью, как повседневная «микроистория». Причиной же самоуправства Фетиева в отношении своего зятя, скорее всего, был не выплаченный вовремя долг М. Матаргина.
В 1670-х – начале 1680-х гг., бывая в Москве, Фетиев поддерживает контакты с такими влиятельными людьми, как В. В. Голицын, А. С. Матвеев, А. И. Матюшкин, И. М. Милославский, И. Мышецкий, А. И. Ржевский. Однако после смерти царя Алексея Михайловича и опалы его фаворита А. С. Матвеева они не уберегли Г. М. Фетиева от ареста и попадания в застенок Сыскного приказа. Были арестованы, доставлены в Москву и также подверглись пыткам его грамотные слуги Д. Березин, И. Казимер, А. Иванов и др. (всего 6 чел.). Под пыткой все они – и слуги Фетиева, и другие вологодские «фигуранты дела» (подьячий С. Васильев и М. Свашевский) – должны были признаться, откуда у Фетиева некое «заговорное письмо»? Во время допросов «с великим пристрастием» гость, ссылаясь на свою неграмотность, начисто отрицал обвинения в чернокнижии и заговорах, а заодно и доверительные отношения с А. С. Матвеевым.
Фетиев был арестован, по-видимому, в начале декабря 1676 г. Взяли его со двора стольника князя Ивана Мышецкого, на котором он, прибыв в Москву по торговым делам, остановился (в Китай-городе). Думный дьяк Сыскного приказа Данило Полянский произвёл обыск на дворе Мышецкого. Фетиева обвиняли в «чернокнижии» и чародейных заговорах, в том, что он давал якобы «чёрные книги» А. С. Матвееву, который тоже, в свою очередь, подозревался в чернокнижии. С чернокнижием в средневековой России связывались представления о еретичестве, колдовстве, чародействе, контактах человека с нечистой силой, его вредоносности для окружающих («чёрная магия»). Осуждались также всякие «заговоры» и «заговорные воровские письма» (согласно Соборному уложению). Против чернокнижия и чародейства были направлены церковные и гражданские законы. В России XVII–XVIII вв., в том числе и в Вологде, известны были даже случаи сожжения колдунов и чернокнижников, хотя до широкомасштабных «процессов ведьм», аналогичных западноевропейским, дело не дошло.
Обвинения против Фетиева строились главным образом на свидетельских показаниях вологжан Федки Иванова (торгового человека) и Мишки Свашевского (служилого человека), данных под пыткой. При этом каждый из них утверждал, что знает это от другого. Ф. Иванов ссылался ещё на слухи, ставшие известными ему от каких-то «походячих торговых людей», которых он встречал в Москве на Красной площади. В слухах и показаниях самым опасным для Фетиева были утверждения о его доверительных отношениях с семьёй Матвеева, в московский дом которого он был вхож, и знатный хозяин даже считал вологодского купца из простолюдинов «братом названым» («добры, де, к нему Артемон Сергеевич и сын его Андрей»).