В середине 1966 года Шон дал согласие сниматься в пятом фильме о Бонде «Прекрасное безумие», но предупредил продюсеров, что эта лента станет последней в его бондиаде. Дескать, устал я от этого шпиона. Сами понимаете, началось такое! Его бросились уговаривать не расторгать контракт, даже пообещали увеличить сумму без того заоблачного гонорара. Еще бы не волноваться продюсерам, если четыре фильма про Бонда принесли доход более 150 миллионов долларов при затратах всего лишь в 10 миллионов! В итоге Шона уговорили повременить с расторжением контракта. В это же время они с женой продают свой скромный дом в Эктоне за 17 950 фунтов стерлингов и приобретают недвижимость в Испании и анонимно дом в викторианском стиле в лондонском районе Патни.
В начале 1967 года очередной фильм о Бонде «Живешь только дважды» был готов. Он снимался в Японии, и даже там Коннери приходилось несладко. Токийский отель «Хилтон» осаждался толпой фанатов двадцать четыре часа в сутки, и Шону приходилось покидать его под усиленной охраной полиции и 12 тяжеловесов, которые выполняли роль личных телохранителей звезды. Однажды актер вознамерился прогуляться по улицам города, причем специально выбрал такой маршрут, где бы его не смогли поймать фанаты. Но он ошибся в возможностях последних. Каким-то немыслимым образом они разузнали, в каком месте Токио собирается гулять их кумир, и атаковали его там. Шон был взбешен, променад пришлось срочно отменить. Та же история происходила и на съемках. Например, группа специально выбрала для натурных съемок глухую деревню Акиме, но фанаты добрались и туда. Причем их приехало туда несколько тысяч (!), а одна туристическая компания даже заказала экскурсионные туры на место съемок. Местной полиции, которая насчитывала всего лишь несколько десятков человек, пришлось срочно просить подкрепление из города. В течение трех дней, пока прибывало это подкрепление, съемки не проводились — фанаты не давали. Это время Шон и Диана проводили в номере местного отеля, не имея возможности даже носа высунуть наружу. Тогда они о многом размышляли, в частности, что с ролью Бонда пора завязывать. Шон вновь заявил своим продюсерам, что он намерен поставить точку в своей бондиаде. Как ни странно, на этот раз Брокколи и Зальтцман восприняли его слова без обычного страха. Они и сами уже пришли к выводу, что их трио уже достаточно друг другу надоело и пора каждому идти по жизни в одиночку (к тому времени оба продюсера помимо бондиады осуществляли несколько других проектов).
Когда стало официально известно, что Коннери завязал с ролью Бонда, большинство людей сочли это безумием и предрекли актеру скорое забвение. Дескать, ни на что другое, кроме как всю жизнь играть агента 007, ты, дружок, не способен. Чтобы доказать обратное, Шон занялся совершенно незнакомым для себя делом — профинансировал и снял документальный фильм про рабочих одной из судостроительных верфей в Шотландии. Затем, в начале 1968 года, снялся в вестерне «Шалако», где его партнершей была сама Брижитт Бардо. Однако оба проекта Шона не принесли успеха. Слова поклонников актера о его скором забвении, кажется, начали сбываться. В ежегодно составляемом списке кинозвезд Коннери переместился с 1-го на 6-е место. И даже не вошел в десятку лучших актеров США.
В мае 1968 года Шон уезжает в Америку, чтобы сняться там в фильме «Молли Магуайрс», повествующем о секретном союзе ирландских шахтеров XIX века. Актер возлагал на него определенные надежды, надеясь, что фильм если и не вернет ему былую славу, однако позволит публике вновь заговорить о нем как о признанной звезде. Но этим надеждам не суждено было осуществиться: фильм не понравился боссам «Парамаунта» и они на 18 месяцев положили его на полку. К этим неприятностям добавились и семейные — вконец испортились отношения Шона с Дианой. Однажды приятель Шона Майкл Кейн стал свидетелем такой неприятной сцены, произошедшей в Нассау. Они с Шоном вышли купить что-нибудь к ужину, а Диана осталась дома готовить трапезу. Друзья прошлялись часа два, а когда вернулись, Диана швырнула в них тарелку с ужином — зеленой фасолью в соусе. Были и другие инциденты, которые убеждали всех, кто знал эту семью, в том, что дело пахнет разводом.