Наприкінці вересня 1709 року стан здоров’я гетьмана погіршився настільки, що до Ясс було послано гінця по православного священика. Гетьман сповідався і потім вирішив владнати також свої земні справи. Для цього він попросив Карла XII прислати йому якусь вірну людину – король прислав Густава Солдана, який знав слов’янські мови та латину. Солдан здійснив опис коштовностей, що були у Мазепи, і зацікавився скринькою з документами. Але гетьман лише сказав, що серед цих паперів є такі, які можуть коштувати голови багатьом сильним світу цього (зокрема, опозиційним щодо царя російським аристократам), і додав, що ці таємниці він забере із собою в могилу. Потім гетьман спалив ці папери (чим дуже засмутив не одне покоління істориків України та Росії, але, можливо, дійсно врятував кілька життів). За даними Солдана, гетьман України Іван Степанович Мазепа-Колединський відійшов у вічність близько десятої години вечора 21 вересня 1709 року.
Наступного дня українці та шведи влаштували гетьманові урочисте поховання. За свідченням шведських джерел, карету з тілом гетьмана везли шість білих як сніг коней, попереду процесії йшли сурмачі та барабанщики, а за труною кілька чоловік несли гетьманські клейноди. Далі вузькими вулицями Бендер крокували козаки-гетьманці та запорожці з оголеними шаблями та похиленими прапорами, їхала козацька старшина та Карл XII, що, незважаючи на біль у нозі від поранення, прийшов віддати шану своєму союзникові. Замикали процесію жінки (дружини, сестри та доньки козаків і старшин з Гетьманщини), які за українським звичаєм гучно голосили за померлим. Тіло Івана Степановича було тимчасово поховане у парафіяльній церкві Варниці, згодом було прийнято рішення перевезти його на територію хоч і васального щодо Туреччини, але православного Молдавського князівства, і поховати в освяченій землі. За кілька днів Григорій Герцик і двоє слуг перевезли останки гетьмана до міста Галац на Дунаї, де у кафедральному соборі монастиря Святого Юрія місцевий митрополит відслужив панахиду за упокій душі Івана Степановича. Тіло гетьмана було поховане в цегляному склепі всередині церкви (поширена середньовічна практика поховання видатних осіб з числа аристократії). Церемонія пройшла без великих урочистостей, на що згодом у листі нарікатиме Орлик.
Проте тлінним останкам великих українських політиків рідко вдавалося мирно спочивати в своїх могилах. Кістки Івана Мазепи викидали з могили кілька разів. Спершу, за свідченням молдавських літописів, це зробили російські солдати Петра I під час Прутського походу 1711 року, потім турецькі вояки у 1821 році, шукаючи коштовності, поховані, за легендою, разом із гетьманом. Згодом під час чергової російсько-турецької війни у 1829 році те саме вчинили російські солдати, які ще й пошкодили надгробну плиту (можливо, саме вони збили напис і зображення герба гетьмана). Проте, за свідченням Костіна, Нікульчі та румунського історика Когальнічану, ченці кожного разу знову ховали прах гетьмана, причому востаннє вони, схоже, навіть не знали, хто саме похований у їхній церкві. У 1835 році в тій же церкві було поховано румунського боярина, для чого було відкрито склеп Мазепи і відсунуто вбік кістки гетьмана. За кілька років по тому в Молдавії було заборонено ховати небіжчиків у церквах, і родина боярина Дерекчі забрала прах свого родича з церкви, поховавши разом із невідомими їм кістками на подвір’ї біля церкви. Саме там, схоже, і спочиває український гетьман дотепер.