Вместе со своей сестрой, Е. П. Дивовой, Д. П. Бутурлин участвует в сочинении снабженного карикатурами памфлета на императрицу и ее ближайшее окружение. Екатерина II отдает распоряжение всех соавторов выслать из Петербурга. Брату и сестре удается оказаться в Париже. Сопровождавший Бутурлина приказчик его дяди доносит А. Р. Воронцову: «По милости вашего сиятельства ко мне, осмелился предложить. Казалось бы, недурно изволили сделать, ежели бы поскоряе во град святого Петра отозвали графа Дмитрия Петровича. Он истинно пренежного сердца и склонен очень к добродетели, остроты же разума не достает. Прилеплением, сколько я заметил, к итальянцам и французам певцам, скрипачам и танцмейстерам пользы его немного составит. А дело кому поручите и без него обойдется. Опасаюсь я такова честнейшего человека чужестранной люд ученой да и зятек огасконят, после самому вам будет жаль».
Музыкальным увлечениям Д. П. Бутурлин верен всю жизнь. В памяти современников он так и остался виртуозным гитаристом-исполнителем, любившим к тому же распевать басовые партии итальянских опер, романсы и даже входившие в моду шансонетки. Его любимым композитором и приятелем в России был Я. Козловский, множество песен которого было написано на слова троюродного брата Бутурлина, поэта Ю. А. Нелединского-Мелецкого, тот самый Я. Козловский, полонезы которого продолжают звучать в «Пиковой даме», «Евгении Онегине» и «Черевичках» П. И. Чайковского. Но не музыка занимала главное место в жизни Бутурлина.
Поселившись после женитьбы в Москве, Дмитрий Петрович занимается составлением своей уникальной библиотеки. За неполных двадцать лет он собирает в ней почти все издания с 1470 года до конца XVI века, образцы работы первых типографов, огромное количество рукописей, в том числе таких, как переписка Генриха IV с Сюлли. Его отличало почти энциклопедическое всеведение и особенно обширные библиографические познания. В своем доме на Яузе, рядом с дворцовым парком Д. П. Бутурлин устраивает музей, двор превращает в ботанический сад. Английский путешественник Кларк писал: «Библиотека, ботанический сад и музей графа Бутурлина замечательны не только в России, но и в Европе». Причем хозяин сам ухаживал за тропическими растениями в оранжереях, изучив особенности их полива. Знания Бутурлина попытался использовать впоследствии Александр I, назначив графа директором Эрмитажа. Но как только в музейном деле и связанной с ним Академии художеств начинают вводиться казарменные порядки, олицетворявшиеся новым академическим президентом Олениным, Бутурлин подает в отставку и под предлогом расстроенного здоровья уезжает в Италию. Он мог себе позволить подобное решение, поскольку и библиотека, и все остальные плоды его трудов погибли в пожаре 1812 года — трагедия, с трудом пережитая Д. П. Бутурлиным.
Женитьба Бутурлина в 1793 году оказалась полнейшей неожиданностью для окружающих. Его невесте было всего шестнадцать лет, она продолжала играть потихоньку в куклы, и молодой супруг вынужден просить тещу оставить при ней пожилую француженку, переведенную из гувернанток в ранг компаньонки. Тем не менее свадьба отмечалась очень торжественно, и в честь нее была сделана памятная надпись в церкви села Белкина под Боровском, где состоялось венчание. Бутурлин отметил это событие и хорошими французскими стихами, которые всю жизнь сочинял. Рокотовские портреты, по всей вероятности, должны были отметить ту же дату.
Д. П. Бутурлин рисуется таким, каким его сохранили многочисленные воспоминания современников, — благодушный, смешливый, живой щеголь, который отправлял стирать белье в Париж, но с таким же успехом бродил по ярмаркам, городским улицам, трактирам, слушая вместе с Я. Козловским народные песни, и шокировал знакомых тем, что ел с лотка уличного разносчика зеленый лук.
А. П. Бутурлина запечатлена на всех трех полотнах замечательных портретистов XVIII века — Левицкого, Боровиковского и Рокотова. Левицкий написал Бутурлину за несколько лет до свадьбы: это живая, темпераментная, совершенно непохожая на ленивого увальня отца и мягкую, безвольную мать девочка, кажется, безразличная к своему внешнему виду и лишенная даже тени кокетства. Она не будет жеманиться, спокойно вступит в разговор, глядя на собеседника умным, пытливым, несмущающимся взглядом. В ней живет откровенная насмешливость и вместе с тем ощущение внутренней собранности, как бы притаившейся плотно свернутой пружины, каждую минуту готовой развернуться. И меньше всего ей подходит укрепившееся за ней с легкой руки некоторых историков искусства имя дикарки и ребенка. Внутренне она старше своих лет, несомненно знает, чего хочет, и умеет своей цели добиться.