В июне 1960 года отец Пауэрса написал Доновану письмо, в котором просил его устроить обмен для его «мальчика». Через Донована Абель попросил Пауэрса-старшего написать письмо его семье, живущей в Восточной Германии. Осенью 1960 года Пауэрс получил ответ, подписанный Еленой Абель, в котором она просила милосердия к ее мужу.
Просьба была отправлена Генеральному прокурору Уильяму Роджерсу, который сказал, что обменом лучше заняться уже во время президентства Кеннеди. В начале 1961 года Рид Козарт, поверенный Министерства юстиции по помилованиям, сказал, что для помилования нет достаточных оснований. Однако переписка между Донованом и миссис Абель продолжилась, они вместе искали возможности обмена. Генеральный прокурор Роберт Ф. Кеннеди и президент Кеннеди знали об идущем процессе. Кроме того, президент, чья администрация не была связана с У-2, понимал, что обмен поможет улучшить международные отношения.
Осенью 1961 года Донован получил разрешение на организацию обмена в Восточной Германии. В Берлине и Лейпциге он встречался с советскими официальными лицами, которым показывал письмо Козарта, в котором тот говорил, что приговор Абеля может быть изменен «при соответствующих обстоятельствах». Донован, действовавший как адвокат Абеля, по сути был дипломатом без ранга, выполнявшим важное правительственное задание. Он узнал, что русские выступают за обмен и, кроме того, готовы передать вместе с Пауэрсом еще одного американца, отбывавшего наказание за шпионаж, — двадцативосьмилетнего Фредерика Л. Прайора.
После переговоров, которые длились две недели, Донован сообщил президенту, что он договорился о проведении обмена. Президент подписал документ, по которому Абель освобождался в момент передачи Пауэрса американцам. В обстановке строжайшей секретности Абеля доставили в Форт-Дикс в штате Нью-Джерси — этот полет стал первым звеном путешествия, которое должно было вернуть его на родину. В это же время Пауэрса доставили из владимирской тюрьмы.
Состоявшийся обмен добавил еще одну тайну к личности Абеля. В письмах от семьи, которые были прочитаны на суде в 1957 году, его жена подписывалась «Илиа», а дочь — «Эвелина». Но письма, полученные Донованом из Восточной Германии, подписаны Еленой Абель. Кроме того, письма, описывающие жизнь семьи Абеля в СССР, рассказывают о даче, прислуге, телевизоре и других удобствах, которые может себе позволить только семья высокопоставленного человека. Если письма из Германии писала жена Абеля, то как она туда попала? Абель хорошо говорил на немецком, и во время Второй мировой войны он служил на германском фронте. Люди, с которыми он познакомился в Нью-Йорке, знавшие немецкий язык, говорили, что его можно было принять за немца. Связь Абеля с Германией и его настоящая личность (Абель — обычный псевдоним для шпионов из социалистических стран) остались покрытыми тайной.
От Пауэрса также ждали объяснений, и после своего возвращения он должен был предстать перед специальной комиссией ЦРУ. Однако Государственный департамент заявил, что он не предстанет перед судом, и исключил возможность того, что итогом обмена будет лишь его перевод из советской тюрьмы в американскую.
Советская пресса не придала большого значения освобождению Пауэрса и вообще не сообщила о возвращении Абеля. В объявлении, сделанном советским радио, говорилось: «Президиум Верховного Совета СССР, принимая во внимание просьбу родственников Пауэрса, американского летчика, отбывающего заключение в Советском Союзе, учитывая его признание в совершении серьезного преступления, а также руководствуясь желанием улучшить отношения между СССР и США, принял решение освободить Пауэрса и передать его американской стороне».
Заявление в «Правде» было еще короче. Об освобождении Пауэрса сообщалось среди других новостей. Больше внимания было уделено присвоению почетного звания «Народный художник» В. Ф. Рындину, мужу балерины Галины Улановой.
Корреспонденты агентства Ассошиэйтед Пресс, работающие в Москве, сообщали, что советские граждане не верили им, когда они говорили, что Пауэрса обменяли на русского шпиона. «У нас нет шпионов», — таким был самый частый ответ. Другие признавались, что никогда не слышали об Абеле. Однако суд над ним не прошел полностью незамеченным советской прессой. В ноябре 1957 года «Литературная газета» назвала его «обманом». Кажется, советское руководство смогло утаить от своих граждан настоящие причины освобождения Пауэрса.