Казалось бы, причины неудачи обмена очевидны — шведские власти не сдержали свои обещания. Но не все так просто. Действительно, в ответ на настойчивые просьбы министров и родственников пленных Карл XII осенью 1704 года принял решение о проведении обмена пленными, о чем сообщил в письме от 12 ноября Оборонной комиссии. В своем письме он выразился предельно четко — ни о каком картеле о всеобщем размене не может быть и речи, и обмену не подлежат офицеры чином старше полковника и резидент. И тут мы видим любопытный момент: Хилков в своем сенсационном письме умолчал об ограничениях, сообщив, что якобы все пленные «от высших до прочих» (включая его самого) будут обменены. В мемориале асессора Йоте Хилкову от 8 мая и в письме Книперкроне от 31 мая подтверждается, что основными критериями обмена должны стать соответствие чинов, положения и профессий пленных. При этом шведские власти выразили готовность обменять русских купцов на шведских гражданских служителей. И ни одного слова о размене генералов и резидента. Пытаясь изменить ситуацию, Хилков встретился с фельдмаршалом графом Магнусом Стенбоком, который был старшим в Королевском совете и авторитетным человеком в Оборонной комиссии, но тот, несмотря на любезный прием, отказался обсуждать тему, ссылаясь на то, что у него нет соответствующего разрешения короля.
Через несколько дней русскому резиденту дали окончательный ответ: так как король не собирается заключать всеобщий картель, то и переговоры на границе не нужны, достаточно обменяться списками пленных. Судя по тону ответа Хилкова, он был в негодовании. Обвинив шведские власти в непоследовательности, князь не согласился и с приложенным списком русских пленных, так как, по его мнению, там были незнакомые имена, а размен шведских офицеров на русских купцов и крестьян посчитал невозможным вовсе, потому что последние оказались во владениях Швеции ранее начала боевых действий. Оскорбило его и то, что русских офицеров — представителей знатных семей приравняли к купцам и служителям, а его самого и его врача к крестьянам и слугам.
Но особенный эффект в Стокгольме произвело письмо канцлера Головина от 9 августа 1705 года. Он начал с того, что назвал предложения Королевского совета вздорными и несовместимыми с европейскими обычаями. В саркастическом тоне обычно очень дипломатичный Головин писал, что царь Петр лучше знает европейские обычаи и соответствует христианским ценностям, чем король Карл. Российские власти пошли дальше: спустя некоторое время по приказу Петра критика поведения шведских властей прозвучала при «нейтральных дворах» из уст российских дипломатов. Это заставило членов Оборонной комиссии в начале октября отправить послание Ф.А. Головину с обвинением в том, что у него «недостаточно оснований, чтобы писать ложь и памфлеты, и многие обращения к христианским и цивилизованным министрам страдают экспрессивностью и недоказательностью». Все эти события серьезно отразились на положении пленных. Раздражение русских властей по поводу несостоявшихся переговоров и размена привело к поспешной высылке резидента Книперкроны с семьей и прочих шведских офицеров из Москвы в середине июля 1705 года. А в начале октября (кстати, к этому времени Книперкрону вернули в Москву) резидента и генералов, кроме Долгорукого, выслали из Стокгольма.
В последующие годы тема массового размена поднималась еще несколько раз, но всегда находились какие-то препятствия, которые мешали перейти даже на уровень серьезного обсуждения деталей. Пожалуй, наиболее реальной и близкой к завершению была попытка массового размена весной 1709 года, накануне, как оказалось, Полтавской битвы. Этому предшествовал удачный обмен несколькими десятками человек с обеих сторон в конце 1708 года. Было принято решение, что провести обмен «глухо — количество на количество». Для этого в русскую армию было прислано как минимум 488 пленных шведов, а вместе с женами и детьми их количество составило 534 человека. Но согласования и переговоры затянулись, а затем наступили Полтава и Переволочна, которые принципиально изменили ситуацию с обменом.
После того как в Стокгольме узнали о катастрофе на Украине, члены Королевского совета гораздо более серьезно отнеслись к предложениям о мире и генеральном размене, которые привез из Москвы в августе 1709 года отпущенный «на пароль» из Москвы королевский секретарь Йозиас Цедергельм. Разумеется, они не могли дать окончательный ответ без королевских указаний, но выразили формальное согласие начать переговоры как можно скорее. В качестве жеста доброй воли они отпустили с Цедергельмом, возвращавшимся в Россию, двух русских офицеров: ротмистра Тисовского и капитана Дашкеева, не дожидаясь, как это обычно было, когда в России подготовят равночинцев.