Наконец 6 августа 1323 года в Вильно прибыло совместное посольство от рижского архиепископа и магистрата, датского правителя Ревельской земли и представителей Ливонского ордена. Послы интересовались у Гедимина, исполнит ли он обещание. Великий князь уклонился от прямого ответа. «Как скоро приедут ко мне послы от папы, которых я жду каждый день, тогда все будет известно. Что я имею теперь на своем сердце, то знает Бог и я сам. От моих отцов я слышал, что папа есть наш общий отец, ближние за ним — архиепископы, затем иные епископы. Каждому человеку я позволяю жить в моей земле по его обычаю и по его вере». Такое впечатление, что Гедимин или передумал принимать католическую веру, или сомневался в правильности своего решения, и для этого возникли серьезные причины. Как только стало известно о желании Гедимина крестить Литву, против него выступили жемайтские феодалы. Они угрожали великому князю захватить его вместе с семьей и с помощью крестоносцев прогнать из государства или убить. Крестоносцы умело использовали недовольство жемайтов и подбивали их против Гедимина. Одновременно Орден предлагал Гедимину взятку в 1000 марок, лишь бы он крестился от орденских священников: тем самым епископство Литвы оказалось бы в юрисдикции орденской митрополии. Гедимин отклонил это предложение, хорошо понимая, куда клонят крестоносцы: подчинить Литву Ордену через костел.
Нужный мир с Ливонией Гедимин заключил. Причем, по «Хронике» Вартберга, Гедимин силой заставил ливонских послов подписать мир, «в противном случае они увидят, удастся ли им выбраться из его земли». Этот аргумент доходчиво подействовал на послов, и 2 октября они заключили мир, который признал и Ливонский орден. А папа Иоанн XXII 31 августа 1324 года утвердил его.
Но Орден не соблюдал мирного договора. В 1323 году ливонские рыцари ходили к Мяделю, где опустошили его околицы. «Также они разорили Полоцкую землю и через 40 дней вновь разорили ту же землю, жестоко убили восемьдесят человек, а некоторых повели с собой», — сообщал рижскому магистрату Гедимин.
И вот, наконец, приехали папские легаты. 3 июля 1324 года Гедимин принял их в своем Виленском замке.
Гедимин, поняв, что крещение Литвы не принесет желанного мира с Орденом, а только приведет к разладу с Жемайтией и православным населением государства, отказался от своих намерений. «Я ничего подобного писать не приказывал. Если же брат Бертольд так написал, то пусть ответственность за эту ложь падет на его голову. Если бы я когда-либо имел намерение креститься, то обратился бы за этим к дьяволу, а не к вам. Я действительно говорил, как написано в грамоте, что буду почитать папу, ибо он старше меня, и господина архиепископа я также уважаю, как отца, ибо он старше меня, а моих сверстников я буду уважать, как братьев, а тех, кто моложе меня, как сыновей. Я не запрещаю христианам служить Богу по их обычаям. Русинам — по своему, а мы служим Богу по нашим обычаям, и у всех один Бог. Что вы мне говорите о христианах? Где больше несправедливости, насилия, жестокости и излишества, чем у христиан, особенно у тех, которые кажутся благочестивыми, как, например, крестоносцы, которые совершают всякое зло... С тех времен, как появились тут эти христиане, они никогда не исполняли то, что обещали в своих клятвах. В прошлом году были тут послы вашей земли; с общего согласия, без всякого принуждения они заключили мир с нами и от имени всего христианства подтвердили договор клятвой, целовали крест и не выполнили того, что было скреплено клятвой. Они убили моих послов, которых я послал для утверждения мира, и не только их одних, но и многих других, и много раз они убивали, брали в плен, держали в тяжелой неволе — я не верю более их клятвам», — ответил Гедимин.
Заслуживает уважения редкая по тем временам веротерпимость Гедимина, особенно человечная в сравнении с воинственностью к другим конфессиям и религиям папской курии и крестоносцев. Следует согласиться с историком В. Василевским, который писал: «Чтобы прийти к сознанию о единстве Верховного существа, которому одинаково служат и поклоняются каждый по-своему — и польский католик, и православный русский, и литовский язычник, для этого Гедимин должен был стать выше своего язычества и даже выше своего времени».
Гедимин болезненно переживал крах своих надежд. Вероятно, был он человеком эмоциональным и не мог сдержать чувства разочарования и обиды. Послы свидетельствуют: «После мы услышали от какого-то брата Ордена миноритов, будто бы одна женщина из приближенных к королеве сообщила ему, что, когда мы там были и после того, как ушли с приема, король на всю ночь удалился в свою опочивальню, взяв с собой свояка Ерудоне, и горько плакал, и, перестав, начинал вновь, и вроде бы каждую ночь он делал так трижды и, как эта женщина предположила, он делал это потому, что он должен отказаться от своего первоначального решения».