Святитель Филипп стойко переносил заключение в темнице, хотя терпел холод, грубое обращение с ним. Царь Иван Грозный понимал, что, хотя митрополит физически низложен с митрополичьего сана, духовно он только возвысился и своим мученическим положением узника вызывает еще большее уважение народа. Иван Грозный решил физически уничтожить неугодного ему Филиппа. В темницу к нему впускали голодного медведя, но зверь не трогал Филиппа. Родственников митрополита – бояр Колычевых зверски пытали, из них десять человек погибли. Как-то Филиппу в заключении подбросили мешок с отрубленной головой его родственника. Митрополит поцеловал голову, благословил ее и вернул принесшему мешок. Царь видел, что сломить дух бывшего митрополита ему не под силу. Он велел отвезти его на заточение в тверской Отрочь Успенский монастырь. Везли его туда зимой в легкой одежде, по дороге не кормили. И тем не менее он доехал живым до монастыря и ничего не просил. В Отрочь монастыре он провел почти год. В конце 1569 г. Иван Грозный двинулся в поход против Новгорода, и послал в Отрочь монастырь к низложенному митрополиту опричника, Малюту Скуратова, якобы за благословением царю. Малюта Скуратов в монастыре задушил беззащитного митрополита Филиппа подушкой. Монастырской же братии сказали, что владыка Филипп умер от печного угара. Малюта Скуратов приказал похоронить его в Отрочь монастыре без отпевания, что братия была вынуждена и сделать.