С новой силой Адам берется за проект создания суверенного Царства Польского. С завидными упорством и дипломатичностью преодолевает он возникшие в 1815 г. на Венском конгрессе разногласия между европейскими державами относительно организации польских территорий. Формальное подчинение России сопровождалось в его планах насчет Польши такими неслыханными свободами, как собственная конституция, выборные сейм и правительство, создание польских вооруженных сил. В России о подобных переменах еще и не мечтали. Соглашаясь с проектом, Александр был намерен опробовать на польской территории конституционное правление и добиться благодарности мятежного польского народа. Польская общественность видела в Чарторыйском народного героя, а представители свободомыслящей интеллигенции и аристократии только его считали достойным титула наместника Польши. На деле все обернулось иначе. Это звание получил преданный императору бывший генерал-губернатор герцогства Варшавского В. Ланской. Затем в связи с назначением Ланского членом Государственного совета наместником стал князь И. Зайончек – бывший активист восстания Т. Костюшко, а потом участник наполеоновских войн, захваченный в плен в ходе войны 1812 г. Получив от императора Александра прощение и титул, Зайончек стал его горячим сторонником и безоговорочно поддерживал все действия российского самодержца. Адаму достались титул сенатора-воеводы и членство в административном совете. Чарторыйский был лишен возможности принимать деятельное участие в административной работе новых структур управления Польшей, но по-прежнему пытался вносить какие-то дополнения в постановления и законы, писал многочисленные доклады на имя императора, стремясь занять прежнее положение. Александр I явно стремился отдалиться от прежнего фаворита, причинявшего своей активностью слишком много неудобств. А. Чарторыйский никак не хотел «знать свое место» в давно изменившейся иерархии ценностей российского самодержца, объясняя его резкое охлаждение к нему временным неудовольствием и государственными заботами. Большим ударом стало для Адама расследование по делу Вольного общества филоматов, тайно действовавшего в 1817 – 1823 гг. на территории подконтрольного ему учебного округа. Разумеется, польское студенчество, интеллигенция и образованные офицеры всегда были склонны к некоторой оппозиции существующему режиму. Эти настроения только укрепились, когда стало ясно, что преобразований, дарованных русским правительством, явно недостаточно. Связи ряда кружков филоматов с обществами декабристского толка в России придали их деятельности значение антимонархического заговора и чуть ли не государственной измены. А император Александр I ощутил себя обманутым в лучших чувствах. Неблагодарные поляки получили столько прав и свобод, сколько и не снилось благонамеренным русским либералам, и все еще недовольны! Поистине они приняли его преждевременное великодушие за слабость характера. По словам современников, император был крайне разгневан. Предпринятые по итогам следствия меры уничтожили в умах поляков всякую надежду на свободу под имперским флагом. Более 100 человек были арестованы и подвергнуты тюремному заключению, монастырскому заточению или ссылке. Это окончательно подорвало доверие Адама к режиму российского самодержца, при котором внутри мягкого пряника всегда был спрятан стальной крючок. Тем более, что расследование проводил бывший товарищ по «Тайному комитету», а ныне соперник и недоброжелатель Н. Н. Новосильцев, благодаря интригам которого Чарторыйский и лишился доверия императора Александра. Итоги расследования были исключительно неблагоприятны лично для Адама. Обвиненный в неблагонадежности, он был вынужден в 1823 г. уйти с поста попечителя учебного округа и отстраниться от всякой общественной деятельности.
До момента нового польского восстания осенью 1830 г. Чарторыйский, по словам современников, не имел былой политической и общественной значимости ни в Польше, ни в России, где его воспринимали как заговорщика и врага империи. В то же время на родине некоторые считали его потерпевшим крах ставленником императора. Подвергнув себя добровольному «внутреннему изгнанию», Адам практически затворился в родовом имении Пулавы и посвятил свой досуг занятиям искусством, филологическим изысканиям и воспитанию детей. Еще в 1817 г. Адам женился на 18-летней графине Анне Сапега, принадлежавшей к роду великих гетманов литовских. В браке у него было трое детей. Кроме того, современники считают именно Адама Чарторыйского истинным отцом Марии дочери императрицы Елизаветы (жены Александра I). Как утверждают придворные очевидцы, девочка, умершая во младенчестве, как две капли воды походила на Адама. В этом обстоятельстве некоторые историки и поныне видят причину глубокого охлаждения императора Александра к своей законной супруге и ее дальнейшей бездетности.