Он действительно оказался, прежде всего, «государственных великих посольских дел оберегателем», проявив себя как знаток большого дипломатического искусства В 1683 году Голицын добился подтверждения (пролонгации) Кардисского мирного договора со Швецией, заключенного в 1661 году. В 1686 году ему удалось заключить, казалось бы, выгодный для России мирный договор с Речью Посполитой. По этому договору, предполагавшему «вечный мир», подтверждались условия Андрусского перемирия, по которым к России отходили Киев, Левобережная Украина, Смоленск и Северные земли. Правда, в этом случае Россия обязывалась войти в Священную лигу, которую составляли Речь Посполитая, Австрия и Венеция. Целью Священной лиги была борьба с Крымским ханством, а следовательно, и с Османской империей. Россия, у которой с Крымским ханством были мирные отношения, должна была разорвать их и начать против крымских татар военные действия. Этот договор, казавшийся таким успешным, оказался причиной многих бед: и неудачных походов самого Голицына, и тягот последующих войн России с крымскими татарами и Османской империей в XVIII и в XIX столетиях. Но тогда, заключая выгодный для России договор, таких его последствий не могли себе даже представить.
В 1689 году Голицын одержал еще одну дипломатическую победу: он заключил Нерчинский мирный и торговый договор с Китаем, с которым граничили русские владения в Сибири. Это был первый в истории России официальный договор с Китаем.
Князь Голицын, глава правительства при Правительнице Софье, о котором она говорила, что он «человек ума великого и любимый от всех», стремился, как и Софья, к распространению просвещения и культуры, а потому продолжил дело создания Славяно-греко-латинской академии, начатое еще при царе Феодоре Алексиевиче. Академия была открыта в 1684 году, и прибывшие в Россию ученые, братья Иоанникий и Софроний Лихуды, начали читать в академии свои курсы. В науке царили латинский и польский языки, первый из которых хорошо знал Голицын, а вторым прекрасно владела царевна Софья. При Государевом дворе продолжали играть пьесы, написанные Симеоном Полоцким и самой Софьей.
В Москве устанавливался порядок, многое делалось и для украшения столицы. В 1685 году был построен трехъярусный дворец для царевен, сестёр и тёток Софьи. Внутри он был украшен живописью, хорошо обставлен в европейском духе, но с русским национальным колоритом. Примечательно, что в этом дворце было предусмотрено помещение и для Боярской думы.
Вообще в Москве в эти годы велось большое строительство: было построено около 300 каменных домов, но главное — Большой Каменный мост (в то время его называли Всехсвятским мостом) через Москва-реку. Он соединил центр Москвы с Замоскворечьем Этот мост задумали строить еще при царе Михаиле Феодоровиче, но помешала смерть царя и строителя Кистлера. Царь Алексий Михаилович строительство моста отложил. И вот теперь, в правление Софьи, князь Голицын предложил мост построить. Наблюдение за строительством Софья поручила ему. Мост строился с 1687 по 1693 год — пять с лишним лет. Москвичи были довольны: новый мост не только соединил части Москвы, разделенные рекой, но и своим великолепием весьма украсил столицу. В то же время среди москвичей шли разговоры о том, что на строительство моста было потрачено столько казённых денег, что на них можно было построить два, а то и три таких же. Москвичи считали, что забота Голицына о строительстве моста обошлась городу слишком дорого, и предполагали, куда подевались оставшиеся деньги, намекая на наблюдателя за строительством моста.
В то время на улицах Москвы поддерживалось благочиние: караульные стрельцы строго следили за порядком, останавливая и удаляя тех, кто его нарушал. Воспрещалось употреблять бранные и непристойные слова, ругаться матом. Софья поддержала гуманные устремления первого «министра» Голицына, и существовавшая со времен царя Алексия Михаиловича смертная казнь за употребление непотребных слов была заменена ссылкой.
Отменена была и смертная казнь для женщин, убивших своих мужей, предусмотренная Уложением 1649 года. Это была страшная смертная казнь — «окапывание»: женщину заживо закапывали в землю так, что на поверхности оставалась только одна голова. Можно себе представить, какие муки испытывала женщина во время такого медленного умирания, особенно зимой.
По желанию Софьи правительство во главе с Голицыным прилагало усилия для открытия новых фабрик, особенно текстильных, выписывало из-за границы мастеров для выделки в России бархата, атласа, сукна и других дорогих тканей, которые прежде привозили из-за границы.
Несмотря на гуманные устремления, во внутренней политике Софьи продолжалось преследование старообрядцев, раскольников. Указом Софьи от 1684 года повелевалось ловить раскольников, сажать в тюрьму, а наиболее упорствующих в своей вере — сжигать.