Но через несколько лет его вспомнили. Поведение Хворостинина, когда он живал не на воеводствах и в походах, а в самой Москве на дворцовой службе, возбуждало подозрение властей и вызывало осуждение со стороны частных лиц. Князь Семен Ив. Шаховской, известный писатель XVII века, происходивший из того же рода Ярославских князей, как и Хворостинин, был лично с ним знаком и оставил любопытные о нем отзывы в своих произведениях, писанных около 1622 г. В это время Шаховского постигла царская опала; даже посторонние люди приходили к нему с сочувствием и помощью, а его далекий родич Хворостинин не только не помог ему, но и не посетил его. А между тем, Хворостинин, по словам Шаховского, считал себя нравственно совершенным человеком и желал поучать других. С горечью замечает о нем Шаховской, что «такова бо человека и нрава его воистину далече бежим, понеже фарисейскою гордостию надмен»… Но затем сам же Шаховской написал Хворостинину письмо, убеждая его на деле показать свою любовь и милосердие к страждущим. Позднее, когда Шаховской был в гостях у Хворостинина, между ними возник любопытный спор, описанный Шаховским. Дело шло о шестом вселенском соборе; Хворостинин говорил, что он не был вселенским, и очень дерзко обошелся с Шаховским: «Укорял мя еси», — писал ему Шаховской, — «вчерашнего дня в дому своем, величаяся в рабех своих и превозношася многим велеречием и гордяся, реку, фарисейски, мняся превыше всех человек учением божественных догмат превзыти. Наше же убожество грубо и несмысленно нарековал еси и отнюдь чюжа учению священного и отцепреданного писания, и за малое мое некое речение препирахся еси гневно и люте свирепствова». Выговаривая Хворостинину за его грубость, Шаховской ставил ему на вид, что «несть полезно благоверну мужу тщеславием побежденну быти или зверски яритися на друга». От высокоумия, тщеславия и гордости Хворостинина, по словам Шаховского, не он один страдал: «измлада обыкох еси в такове велехвальне обычае быти», говорит он Хворостинину, подтверждая этими словами более ранние показания Массы о поведении «надменного и все себе позволявшего мальчишки». Шаховской успел даже заметить стороннее влияние на своего сородича: он говорит, что главным потаковником заблуждений и страстей Хворостинина был только что перешедший в православие Заблоцкий, очевидно, поляк.
Иноземное и иноверное влияние на Хворостинина замечало и Московское правительство. Обыски, два раза произведенные в доме Хворостинина, обнаружили у него латинские книги и образа. О нем узнали, что он «учил приставать к польским и к латинским попам и к полякам и в вере с ними соединился». На первый раз его простили. Но Хворостинин не одумался и отстал не только от православия, но и вообще от церковного учения. Он стал отрицать воскресение мертвых, необходимость поста и молитвы; людей своих не пускал в церковь, сам не был в церкви на Пасхе и не поехал с поздравлениями во дворец. С другой стороны, Хворостинин в это же самое время обнаруживал и «к измене шатость». Он думал «отъехать в Литву» и для этой цели, как догадывались, хлопотал в Разрядном приказе, чтобы его отпустили на литовскую границу на посольский съезд, вместо того, чтобы быть на «береговой службе» против ногайцев. Хворостинину в Москве казалось скучно: «все люд глупой, жити не с кем»: московские люди «сеют землю рожью, а живут все ложью». Свою тоску и презрение к московским людям изливал он «на письме»: в стихотворных книжках его слога были «многие укоризненныя слова писаны на виршь» против московских порядков. Все это послужило поводом ко вторичной ссылке Хворостинина под начал в Кириллов монастырь.