Когда Баррасу, избалованному вниманием прекрасного пола, надоели обе эти женщины, содержание которых обходилось ему слишком дорого, он сумел ловко избавиться от них. Мадам Тальен он уступил разбогатевшему на военных поставках торговцу Уврару, причем эта уступка была оформлена юридически, о чем Баррас впоследствии со смехом любил рассказывать. А Жозефину он свел с генералом Бонапартом, часто гостившим у него в Люксембургском дворце, определив тем самым ее дальнейшую необыкновенную судьбу.
Режим Директории с самого начала обнаружил свою неустойчивость, что и порождало столь частые за короткий период его существования перевороты. Эта неустойчивость объяснялась не только тяжелыми экономическими реалиями и непрерывными революционными войнами, но и особенностями конституции III года Республики, предполагавшей ежегодное обновление Законодательного корпуса на одну треть. Это привело к тому, что состав парламента и соотношение сил в нем постоянно менялись — то в пользу республиканцев (и даже неоякобинцев), то в пользу монархистов, а это в свою очередь служило питательной почвой для насильственного изменения ситуации. Так было 18 фрюктидора V года (4 сентября 1797 года), так было и 22 флореаля VI года (11 мая 1798 года), когда руководимая Баррасом Директория своевольно пересмотрела результаты очередных частичных выборов, дававших некоторое преимущество неоякобинцам. Так было и 30 прериаля VII года (18 июня 1799 года), когда Законодательный корпус принудил уйти в отставку сразу трех директоров (Трельяра, Да Ревельера-Лепо и Мерлена), заменив их новыми — Луи Гойе, Жаном-Франсуа Муленом и Роже Дюко.
Отсутствие устойчивой парламентской поддержки не позволило Директории реализовать программу реформ с целью укрепления национальной валюты, модернизации системы государственного управления и наращивания военного потенциала. Принятый под давлением неоякобинцев закон о прогрессивном налогообложении лишил Директорию поддержки со стороны крупной буржуазии — ее главной социальной опоры.
Шантаж неоякобинцев возвращением к террору и чрезвычайному законодательству времен Робеспьера привел к дистанцированию от Директории части депутатов, прежде ее всегда поддерживавших. Острые разногласия возникали и между самими директорами, особенно с избранием в ее состав в 1799 году Эмманюэля-Жозефа Сиейеса. С его приходом в Директорию позиции Барраса, лишившегося незадолго до этого своего союзника, Ла Ревельера-Лепо, существенно ослабли.
Сиейес, ветеран революции, не только не испытывал пиетета перед избалованным лестью Баррасом, но и не желал иметь с ним ничего общего. Он с трудом скрывал, что презирает его.
В это время появились смутные слухи о тайных переговорах Барраса с роялистами и с британским правительством о возможности возвращения Бурбонов. Разумеется, Баррас их решительно опровергал, но его репутации был нанесен непоправимый ущерб.
Со своей стороны, многоопытный Сиейес, чувствуя нараставшее недовольство не только Баррасом, но и режимом Директории, посчитал нужным войти в контакт с генералом Бонапартом, находившимся в то время в Египте. В овеянном славой Бонапарте Сиейес прозорливо усмотрел человека, способного предотвратить самое ужасное — возвращение к временам Робеспьера.
Наполеон Бонапарт правильно понял обращенный к нему запрос, но он смотрел на свою миссию иначе, чем Сиейес. Именно он, генерал Бонапарт, а не Сиейес или кто-то другой, должен взять судьбу Франции в свои руки. Если Сиейес мечтал о восстановлении нарушенного равновесия между исполнительной (Директория) и законодательной (Совет пятисот и Совет старейшин) властями, то у Бонапарта были собственные далекоидущие планы.
Но на исходе 1799 года интересы директора и генерала временно совпали, и они без труда нашли общий язык.
Оставив армию в Египте, Бонапарт в октябре 1799 года возвратился в Париж и, внимательно изучив обстановку, с благословения Сиейеса 18 брюмера VIII года (9 ноября 1799 года) совершил государственный переворот, ликвидировав Директорию. На смену ей приходит новый режим — Консульство, узаконенный в новой конституции VIII года, одобренной на плебисците 7 февраля 1800 года.
Баррас остался не у дел. Он попытался было вступить в контакт со своим бывшим протеже, но успеха не имел, после чего удалился в свое имение в Гроссбуа (долина Марны), а позднее вообще покинул Францию и обосновался в Брюсселе. Там ему оставалось лишь наблюдать со стороны за происходившими на родине событиями да вспоминать минувшее, ностальгируя и изливая свою горечь в мемуарах.
В 1805 году Баррасу было разрешено вернуться во Францию.
Он поселился в Марселе и вел уединенный образ жизни. Тем не менее в 1812 году его обвинили в участии в республиканском заговоре генерала Мале и выслали за пределы Франции, куда он вторично вернулся весной 1814 года. Попытка Барраса вновь приобщиться к политической жизни провалилась — в услугах некогда могущественного человека уже никто не нуждался. Вернуться в политику ему суждено не было.