Эгезин, первый историк христианский, живший тогда в Риме, сохранил потомству память посещения Поликарпова; но летопись его, заключавшая в себе все события времен Апостольских, к несчастию, уцелела только отрывками, в творении другого, более известного историка четвертого века, Евсевия епископа Кесарийского. Краткое пребывание Поликарпа в Риме душеспасительно было для многих последователей Валентина и Маркиона, и даже оба ересиарха временно обратились, потому что слышанное ими из уст святого старца было для них как бы свидетельством самого Иоанна. Так твердо сохранял он предание Апостольское и так не терпел слух его никакой ереси, что если иногда случалось ему внять что-либо противное Церкви, он с ужасом затыкал себе уши, восклицая: «Боже, до чего допустил Ты меня дожить!» И в то же мгновение бежал с места, где произнесли хулу.
Уже близка была Поликарпу обычная кончина, когда и для него настал день мученичества, потому что столь достойный подвижник не должен был лишиться светлого венца. Он пострадал вместе с христианами своей паствы, твердость их не поколебали ни звери, ни пламя, ни пытки, ни терзания бичом или когтями, обнажавшими их кости. Народ, раздраженный твердостию мучеников, завопил в амфитеатре: «Поликарпа, Поликарпа!» Старец, едва убежденый мольбами близких, удалился из города в соседнее село, где проводил день и ночь на молитве; там за три дня до смерти, в тонком видении, представилось ему возглавие одра его горящим, и обратясь к своим, в духе пророческом сказал он: «Меня сожгут». Ищущие старца скоро обрели дом, где он скрывался, и хотя Поликарп мог бы еще спастись в другое жилище, однако же он сам предался в их руки, говоря: «Воля Господня да будет», и велел радушно угостить воинов, прося у них только одного часа на молитву. Пламенна была эта молитва, изумившая самих язычников, и ею обнял он весь мир Христианский, все Кафолические Церкви: то было накануне Пасхи. Начальники игрищ встретили на пути старца и, взяв к себе в колесницу, убеждали назвать Господом кесаря и жертвовать богам, но, услышав решительный отказ, свергли с колесницы; уязвленный продолжал весело путь к амфитеатру. Восшумела толпа, проконсул тщетно умолял его сжалиться над своим преклонным возрастом и произнести обычную на христиан клятву: «Да исчезнут нечестивые!» Строго взглянул на него епископ и на весь неверный народ язычников, потом воззрел к небу, простер над ними руки и громко воскликнул: «Да исчезнут нечестивые!» Яростью закипела чернь; еще однажды заклинал его проконсул сказать хулу на Христа. «Восемьдесят шесть лет я служу ему, — отвечал старец, — и что изреку на Царя и Спаса моего?» «Поклянись хотя счастьем кесарей, — сказал правитель». «Я христианин», — повторил Поликарп. «Итак убеди народ», — возразил первый. «Тебе ответствую как властителю, — сказал исповедник, — ибо мы должны уважать всякую власть, поставленную от Бога; а сей народ недостоин оправдания Христианского». «У меня есть на тебя звери, у меня есть и пламя!» — воскликнул разгневанный проконсул. И тихо отвечал ему Поликарп: «Всякие мучения спасительны; ты говоришь об огне временном, но есть вечный для нечестивых; что долго медлишь, я готов!»