По примеру самого императора Голицын стал мистиком и пиетистом; его министерство сделалось ареною деятельности Руничей и Магницких. Деятельности Российского библейского общества, президентом которого он был с самого его возникновения, князь Голицын сообщил мистический характер. Веротерпимость его выражалась лишь в том, что он не находил нужным подавлять неправославные христианские церкви в интересах православной. Так, он провел несколько законов, которые защищали в Остзейском крае протестантскую церковь, запрещали присоединение к православию тех лютеран, которые изъявляли такое желание лишь с целью уклониться от конфирмации, которыми разрешалось крестить подкидываемых младенцев по евангелическому обряду и т. п. К черному духовенству Голицын не имел расположения, к раскольникам относился безразлично. При нем всякое свободное проявление умственной жизни общества, всякий протест против мистицизма подавлялся с неумолимой суровостью, чему Голицын способствовал всеми средствами, как главный начальник цензуры.
Об улучшениях и нововведениях в области народного просвещения при Голицыне говорить не приходится. Правда, при нем были открыты Ришельевский лицей в Одессе и университет в Петербурге, но последний стал жертвой обскурантизма Рунича, а в Казанском университете хозяйничал Магницкий.
Как пиетист, полагавший, что все науки должны быть заменены чтением Священного Писания, Голицын обратил внимание на распространение грамотности в народе, старался открывать народные училища и заботился о введении в России бывшего тогда в ходу ланкастерского метода обучения.
Внимания заслуживает филантропическая деятельность А. Н. Голицына. С 1817 года он был президентом Человеколюбивого общества и содействовал устройству при этом обществе медико-филантропического отделения. При его же участии и содействии образовалось Попечительное о тюрьмах общество с его многочисленными разветвлениями, а также получило развитие попечительство о бедных и приют для неизлечимо больных. Когда в 1823 году случился в Белоруссии голод, князь Голицын обратился с воззванием к общественной благотворительности. Он был известен и как частный благотворитель, охотно помогавший неимущим. В светском обществе на него смотрели как на человека благочестивого, почти святого; к нему подводили детей, и он их благословлял, возложив им на голову руки. Но его мистицизм восстановил против него высшее православное духовенство. В итоге, желая нейтрализовать влияние министра на императора, А. А. Аракчеев организовал против него интригу с участием митрополита Серафима и архимандрита Фотия, которые убедили Александра I, что управление Голицына пагубно для церкви и государства. И в мае 1824 года недруги князя торжествовали: А. Н. Голицыну пришлось выйти в отставку по обоим ведомствам. Правда, за Голицыным осталось звание главноначальствующего над почтовым департаментом вопреки всем настояниям Фотия. Последнюю должность он занимал и при Николае I, ценившем в Голицыне «вернейшего друга своего семейства».
Император Александр I никогда не лишал князя Голицына личной дружбы, он даже посвятил его в тайну отречения от престола великого князя Константина Павловича. С воцарением Николая Павловича А. Н. Голицын нисколько не утратил своего прежнего положения. Он был осыпан милостями, назначен канцлером российских орденов (1830). Когда император и императрица уезжали из Петербурга, то попечение о своем семействе они передавали Голицыну. Он довольствовался относительно скромной должностью главноначальствующего над почтовым департаментом, дававшей ему право присутствовать в комитете министров. С 1839 по 1841 год он председательствовал в общих собраниях Государственного совета, членом которого состоял с 1810 года.
В 1843 году Александр Николаевич из-за ухудшения зрения оставил столицу и удалился в Крым, где и умер в своем имении Гаспра (здесь Лев Толстой позднее напишет повесть «Хаджи-Мурат»).
Голицын всю жизнь оставался холостяком, он был известен своей нетрадиционной сексуальной ориентацией. Н. М. Языков в письме 1824 года приводит анекдот, «будто бы государь призывал к себе известного содомита Бантыш-Каменского и приказал ему составить список всех ему знакомых по сей части». Бантыш-Каменский представил императору такой список, «начав оный министром просвещения, потом стоял канцлер и так далее». После этого он имел «аудиенцию у государя и удостоверил его клятвенно в истине своего донесения».
Подразумевая гомосексуальность Голицына, молодой Пушкин высмеял его в эпиграмме такого содержания: