В 1821 году, после смерти отца, Михаил Александрович вместе с братом вернулся в Россию под опеку родного дяди, князя С. М. Голицына. В следующем, 1822 году он поступил на дипломатическую службу, его зачислили актуариусом в Коллегию иностранных дел. Сначала его причислили к Московскому архиву коллегии, а затем он состоял при миссиях во Флоренции (с 1824 г.) и в Риме (с 1836 г.). В 1831 году князь Голицын был пожалован в камер-юнкеры, в феврале 1836 года его перевели в Рим, однако уже в октябре ему пришлось уволиться со службы из-за слабости здоровья. Во время своей службы в Италии он начал собирать коллекцию книг, картин и всевозможных редкостей, которые стали основой будущего музея. В это же время он тайно перешел из православия в католичество.
23 августа 1842 года князь М. А. Голицын, человек «умный, любезный и просвещенный», по мнению историка Александра Ивановича Тургенева, женился на княжне Марии Ильиничне Долгоруковой (1822–1907), дочери генерал-лейтенанта И. А. Долгорукова и княжны Екатерины Александровны Салтыковой-Головкиной. Это был прекрасный союз, в котором объединились красота, богатство и знатные имена.
В 1854 году князь Голицын, к этому времени вернувшийся на службу, был избран дворянством почетным попечителем Санкт-Петербургской гимназии. Состоя с 1855 года в должности церемониймейстера, в 1856 году он был пожалован в церемониймейстеры, затем его назначили состоять при Министерстве иностранных дел, а с 8 декабря 1856 года князь Голицын был русским посланником в Мадриде.
Согласно завещанию его дяди, князя С. М. Голицына, с августа 1859 года Михаил Александрович являлся почетным главным директором Московской Голицынской больницы, он также унаследовал его усадьбы Кузьминки и Дубровицы.
В конце 1859 года князь Голицын заболел. Обеспокоенная жена отвезла его для лечения в Монпелье, где в марте 1860 года он умер. Тело Михаила Александровича Голицына было перевезено в Италию и погребено на кладбище Кампо-Санто в Болонье рядом с могилой брата.
Переводчик Московского Главного архива Министерства иностранных дел («архивный юноша»), камер-юнкер, автор дневника с записями о Пушкине Владимир Алексеевич Муханов дал в своем дневнике такую характеристику Голицыну: «Неправильное воспитание сообщило ему направление, не вполне соответствующее его положению; преувеличенная склонность к чужеземному и по несчастию отчуждение от своей собственной страны… воспрепятствовали ему принести своему отечеству ту пользу, которую он бы мог… Просвещенный ум, доброе сердце, большая обходительность, старинная любезность сообщали большую прелесть сношениям с князем Голицыным… У князя были благородные вкусы: он любил картины, статуи, старинную мебель, но особенною страстью была у него любовь к старым книгам».
Что касается библиотеки князя Голицына, она находилась в Москве при его музее и представляла собой обширное собрание ценных книг разнообразного содержания, преимущественно исторического, на латинском, греческом, французском, немецком и итальянском языках, в том числе редчайшие инкунабулы и первопечатные издания, почти полное собрание альдов и эльзевиров, роскошные старинные книги, напечатанные на пергаменте, замечательные по изяществу переплетов книги (в частности, экземпляры из библиотек герцога Филиппа Орлеанского и маркизы Помпадур), редкие рукописи с миниатюрами. К М. А. Голицыну перешла и библиотека, оставшаяся после графа А. М. Дмитриева-Мамонова.
Несмотря на то что он плохо знал русский язык, Михаил Александрович Голицын живо интересовался отечественной литературой. А. О. Смирнова-Россет, фрейлина русского императорского двора, знакомая, друг и собеседник А. С. Пушкина, В. А. Жуковского, Н. В. Гоголя, М. Ю. Лермонтова, вспоминала, как в 1844 году Голицын вошел к ней в гостиную в тот момент, когда Николай Васильевич Гоголь читал там свою пьесу «Женитьба»; князь попросил позволения остаться, а затем горячо благодарил хозяйку за приятно проведенный вечер, сказав, что читал «Мертвые души» с восторгом, и теперь несказанно рад, что наконец увидел автора этого сочинения.