После «100 дней», вторичного падения Наполеона (1814 г.) и возвращения Бурбонов Дельфина постаралась определить сыночка в армию. Астольф пробыл среди вояк лишь несколько недель и был отправлен в отставку по причине неспособности к военному служению. Тогда мать упросила самого премьер-министра Франции принца Шарля-Мориса де Талейран-Перигора (Charles Maurice de Talleyrand-Périgord) взять Астольфа к себе на службу. Кюстин состоял при Талейране в дни Венского конгресса (осень 1814 – лето 1815 г.), на котором решалась судьба Западной Европы и определялись границы большинства современных государств. Это участие навсегда создало молодому человеку имидж талантливого дипломата. В действительности же Талейран остался весьма им не доволен и постарался избавиться от назойливого бездельника.
В дни Венского конгресса де Кюстин успел обрасти литературными связями, что для дипломата, вращавшегося среди переговорщиков, было не сложно. Маркизу удалось познакомиться и даже подружиться с поэтом Генрихом Гейне (Heinrich Heine), с писателем Карлом Августом Фарнгаген фон Энзе (Karl August Varnhagen von Ense) и его женой, одной из первых в истории писательниц-евреек Рахель Фарнгаген фон Энзе (Rahel Varnhagen von Ense). Это и впрямь примечательно – всю жизнь де Кюстин легче всего шёл на контакт с еврейской диаспорой стран, которые посещал.
Освободившись от какой-либо службы, маркиз увлёкся путешествиями и писанием рассказов о местах, где побывал. Он стал добротным литератором, даже претендовал на роль писателя, но до столь высокого уровня так и не дорос. В первые годы вольной жизни де Кюстин путешествовал по Швейцарии, Англии, Шотландии, Калабрии (юг Италии).
В 1821 г. мать настояла на том, чтобы Астольф женился на выбранной ею девице Леонтине де Сен-Симон де Куртоме (Léontine de Saint-Simon de Courtomer). Аристократка Леонтина была круглой сиротой, имела солидное состояние, да ещё и характером отличалась добрым и милым. Одна беда – болела чахоткой. Свадьба состоялась 15 мая 1821 г. Через год, в июне 1822 г. у молодой четы родился сын Ангерран (Enguerrand).
Тем же летом в дни непродолжительной поездки в Великобританию де Кюстин познакомился с молодым англичанином Эдуардом Сент-Барбом (Edward Saint-Barbe) из Гэмпшира. Парень был на четыре года младше маркиза и не имел достаточного состояния. Маркиз стал покровительствовать ему. Вряд ли они были любовниками. Скорее их можно назвать компаньонами. По жизни этот дуэт прошёл вместе, и разлучила их только кончина маркиза де Кюстина в 1857 г. Сент-Барб был с Астольфом во всех его злоключениях, дружил со всеми его любовниками, но не более. Правда, есть версия об их сексуальных отношениях. Её сторонники полагают, что богатенький де Кюстин законно выступал ведущей стороной в публичной жизни, но становился пассивом в сексуальных играх. В любом случае, домашними делами занимался Сент-Барб.
А потом, по словам самого маркиза, случилось нечто ужасное. В их доме на правах члена семьи жил старый аббат, некогда воспитавший дядю Кюстина – уже умершего брата матери. Аббат сошёл с ума и 6 января 1823 г., умирая, проклял всю семью де Кюстинов. Возможно потому, что оказался в курсе истинных отношений маркиза с его английским гостем. И почти сразу началась череда смертей. Через полгода умерла от чахотки Леонтина, следом сошла с ума и умерла кормилица Ангеррана, затем скончалась приживалка – подруга матери…
Астольф утверждал, что эти потрясения чувствительной души стали переломными – ему окончательно опротивели женщины, а сердце целиком обратилось к молодым мужчинам. Отношений с Сент-Барбом маркизу было мало. И Астольф ударился во все тяжкие – пошёл по солдатам.
В передрягу он попал почти сразу. Сказалась неопытность. В ночь на 28 октября 1824 г. де Кюстина нашли полураздетого, ограбленного и зверски избитого на дороге из Версаля в Сен-Дени. Маркиз был без сознания. Придя в себя, он заявил, что стал жертвой группы солдат. Преступников разыскали. Один из них сообщил, что избитый – педрила и получил поделом. Ведь он назначил солдату свидание, чтобы предаться любовным утехам с ним. А с педрилами иначе обращаться нельзя.
Астольф, само собой, всё отрицал. Что в действительности произошло той ночью и как маркиз попал в столь поздний час на глухую провинциальную дорогу, так и осталось не выясненным. Преступников отпустили, дело попытались было замять, но оно попало на страницы газет… С тех пор и до самой смерти злосчастный де Кюстин оставался самым знаменитым гомосексуалистом Европы первой половины XIX в. Пикантность столь грязной славе придавал тот факт, что де Кюстин был участником Венского конгресса!