Шабан-Дельмас всецело поддерживал деятельность РПФ, тем не менее держался несколько особняком от его руководства. Он постепенно внедрялся в политическую систему страны, осваивал роль депутата Национального собрания. К тому же был теперь мэром большого французского города на юго-западе страны, столицы исторической провинции Франции Аквитании. Эта работа требовала от него больших усилий. Он познакомился с проблемами Бордо. Их оказалось немало. Прежде всего, новый мэр понял, что в его ведомстве царит неразбериха. Необходимо было реформировать административный аппарат мэрии, сделать его более четким, перераспределить какие-то должности и нагрузки. Одну из важных задач Шабан-Дельмас видел в действенной борьбе с наводнениями. Гаронна, в устье которой стоит город, постоянно разливалась. Необходимо было также заниматься строительством социального жилья, заботиться о пожилых людях, а еще развивать культуру и спорт.
1951 год не принес голлистам желаемых результатов. Накануне парламентских выборов политические партии Франции решили сплотиться против РПФ. Национальное собрание приняло новый избирательный закон, допускающий аппарантирование, то есть возможность различных партий заключать соглашения и суммировать полученные голоса. Некоторые голлисты одобрительно отнеслись к этому закону, среди них был и Шабан-Дельмас. Но де Голль выступил категорически против аппарантирования для РПФ. В результате в Национальное собрание вошли главным образом шесть крупнейших политических партий Франции примерно с одинаковым количеством мандатов. На правом фланге оказались РПФ, «независимые» и МРП (Народно-республиканское движение), в центре – радикалы с Объединением левых республиканцев, наконец, слева – социалисты (СФИО) и коммунисты (ФКП). В стране, как и прежде, создали коалиционное правительство. Влияние РПФ во Франции постепенно начало падать. Голлисты были в замешательстве. Де Голль требовал строгой дисциплины голосования. Некоторые члены РПФ были этим недовольны. Такая ситуация мешала им интегрироваться в политическую систему Четвертой республики и получать выгодные государственные посты. Поэтому некоторые соратники генерала постоянно нарушали дисциплину голосования. А в 1953 году четыре члена РПФ согласились получить министерские портфели. В том же году на муниципальных выборах голлисты утеряли свои позиции. После этого де Голль заявил, что снимает с себя обязанности руководителя РПФ и удаляется в Коломбэ. По настоянию генерала голлистская фракция в парламенте теперь должна была принять иное название. Верные соратники генерала, по-прежнему заседавшие в парламенте, стали именоваться партией Союз республиканского и социального действия. Но для голлистского движения в целом начался тяжелейший период в его истории. Его назовут позднее «переходом через пустыню».
В июне 1954 года председателем совета министров стал известный радикал Пьер Мендес-Франс. Он пригласил в свой кабинет нескольких голлистов. Среди них был и Шабан-Дельмас. Молодой депутат давно чувствовал себя комфортно в политических кругах Четвертой республики. Он уже имел опыт и не прочь был продвигаться к вершинам власти, поэтому и согласился войти в правительство. Так в 39 лет Шабан-Дельмас впервые стал министром – он возглавил министерство общественных работ, транспорта и туризма. В течение года, пока кабинет Мендес-Франса не пал в феврале 1955-го, успешный политик осваивал новое ремесло главы министерства.