Сам же глава семьи все более погружался в дипломатические дела, став одним из наиболее видных и квалифицированных американских послов в Европе. В мае 1796 г. последовало его назначение послом в Португалию, а в декабре 1797-го — в Пруссию. Небезынтересно, что на этот пост, считавшийся особенно почетным, так как Пруссия рассматривалась как наиболее влиятельная страна в Западной и Центральной Европе, Джона назначил отец, ставший президентом. Но подписал он соответствующее постановление только по решительному требованию Вашингтона, который и в отставке сохранял немалое влияние на Адамса-старшего. Во время пребывания в Берлине Джону удалось заключить с королевским правительством договор о дружбе и торговле, который в США считали важным документом уже в силу того, что это был первый акт, в котором отношения с другим государством были определены термином «дружба». Прусская миссия продолжалась до 1801 г., когда новый президент начал формировать свою администрацию и заменять послов на своих доверенных друзей. Адамс был отозван в США и вскоре избран в Сенат штата Массачусетс, который в 1803 г. избрал его членом общенационального Сената.
Пять лет, проведенные в Конгрессе, были временем постепенного, но решительного поворота в партийно-политических позициях Адамса. Начав как явный федералист и сторонник Гамильтона, он постепенно сблизился с республиканцами, а в конце концов стал активным деятелем Демократическо-республиканской партии. Адамс начал отход от федералистов, выступив с критикой их установки на тесные отношения США с Великобританией. В отличие от сенаторов-федералистов из Новой Англии он поддержал правительство Джефферсона в вопросе покупки Луизианы. Еще оставаясь в прежней фракции, он оказался единственным федералистом, проголосовавшим в 1806 г. за закон об отказе от импорта британских товаров, который рассматривался как наказание Англии за захват американских судов и моряков во время Наполеоновских войн. Чаша терпения однопартийцев переполнилась, когда в 1807 г. Адамс поддержал закон об эмбарго, вообще изолировавший на время США от европейских стран, ведших между собой войну. Сенатор поддержал, таким образом, фактически изоляционистскую политику Джефферсона, которая рассматривалась чуть ли не как предательство Новой Англии, крайне заинтересованной в заморской торговле. В результате массачусетская легислатура, контролируемая пока что федералистами, приняла решение об отзыве Адамса из Сената за несколько месяцев до истечения его полномочий.
Возмущенный Джон возвратился в Бостон и возобновил адвокатскую практику. В то же время он официально порвал с федералистами и присоединился к демократам-республиканцам, почти сразу став лидером партии в своем штате. Под его руководством партийная организация начала медленно и постепенно, но неуклонно вытеснять федералистов с ведущих позиций, которые они до этого занимали в Массачусетсе и других штатах Новой Англии.
Еще будучи членом Сената, Адамс был избран профессором Гарвардского колледжа, который все чаще называли университетом. Гарвард становился самым известным и уважаемым гуманитарным учебным заведением страны, и преподавание в нем, хотя и эпизодическое, было для Джона большой честью. Он преподавал риторику и считал себя последователем великого древнеримского оратора Цицерона, который учил, что для того, чтобы успешно заниматься политикой, необходимо «хорошо говорить». В 1819 г. Адамс опубликовал свои «Лекции по риторике и ораторскому искусству», в которых излагал способы «страстного ораторства» как важного условия успешной общественной деятельности.
За десять лет до этого, в 1809 г., президент Мэдисон назначил Адамса-младшего первым американским послом в России. Из-за напряженных отношений в Европе и враждебной политики Великобритании по отношению к США добираться до российской столицы пришлось два с половиной месяца. В отличие от первой неудачной попытки установления официальных связей, на этот раз американский посол был сразу же принят канцлером графом Николаем Румянцевым, а затем и императором Александром I, который выразил желание поддерживать добрые отношения с заморским государством и предложил в случае необходимости свое посредничество во взаимоотношениях с другими европейскими странами. Воспользовавшись этим, Адамс уже вскоре добился через императора освобождения группы американских моряков, задержанных голландцами. И в дальнейшем послу пришлось несколько раз использовать посредничество российских представителей в решении острых для США вопросов, возникавших в связи с войнами на Европейском континенте. С императором установились и личные отношения. Неоднократно посол и царь отправлялись на совместные загородные прогулки, которые использовались для решения вопросов политического и торгового характера.