Выйдя в отставку, прославленный генерал-аншеф поселился в своем московском доме на углу Охотного ряда и Большой Дмитровки, построенном в 1780 году великим зодчим М.Ф. Казаковым, где позднее размещалось Благородное Дворянское собрание (ныне Дом союзов с известным Колонным залом). Современница рассказывает: «Собрание в том виде, как оно было потом, устроили в 1811 году; его переделали, расширили и расписали. Очень всем не нравилось, что на потолке в зале представлен был орел с распущенными крыльями, окруженный темно-синею тучей, из которой зигзагами выходит молния. Многие тогда видели в этом дурное предзнаменование, которое и сбылось (вскоре началась Отечественная война 1812 года. —
Под Москвой князь Долгоруков-Крымский жил то в своем имении Знаменское-Губайлово (ныне город Красногорск), то в усадьбе Васильевское на Воробьевых горах. Дом в Васильевском (ныне в нем размещается Институт химической физики РАН) купил и присоединил к своим многочисленным владениям князь Н.Б. Юсупов, а потом подарил его герою Бородина, декабристу, «русскому Гамлету» графу М.А. Дмитриеву-Мамонову.
Особенно большое внимание князь Долгоруков-Крымский уделял обустройству поместья Волынщина-Полуэктово, приглашая туда из Москвы видных архитекторов. После продажи Знаменского-Губайлова многие реликвии его дворцового комплекса перевезли в Волынщину. Теперь уже в этой усадьбе хранились коллекции, привезенные Долгоруковыми из военных походов. И ныне в Рузском краеведческом музее посетитель может увидеть предметы княжеского быта и фотографии с интерьерами дворца.
Здесь же был и парадный портрет князя В.М. Долгорукова-Крымского кисти шведского художника Александра Рослина, работавшего в России в 1775–1977 годах. Ныне этот портрет находится в Третьяковской галерее. Известны портреты Екатерины II, великого князя Павла Петровича, великой княгини Марии Федоровны, вельмож И.И. Бецкого и И.И. Шувалова работы этого мастера. А в Рузском музее выставлен мраморный бюст Долгорукова-Крымского, найденный школьниками на берегу реки Озерны.
11 апреля 1780 года князя Василия Михайловича назначат главнокомандующим Москвы. Он завершит строительство Петровского театра, находившегося на месте современного Большого, расчистит реку Неглинную и соорудит в 1781 году первый каменный мост через Яузу, названный Дворцовым. Историк напишет: «Он заслужил всеобщую любовь своей добротой, доступностью, щедростью, широким гостеприимством и бескорыстием. Осуществляя верховное управление в Москве, В.М. Долгоруков-Крымский искренне заботился о порядке и справедливости, не доверяясь законам, творил суд по своему разумению, полагаясь на собственный здравый смысл и жизненный опыт». В память его одна из центральных московских улиц носит название Долгоруковской.
На этом посту он был до самой кончины и похоронен по его завещанию в фамильной усыпальнице храма Трех Святителей в Волынщине-Полуэктове. Внук его князь Василий Васильевич Долгоруков в 1842 году поставил в Симферополе памятник своему знаменитому деду. Обелиск из серого крымского порфира и каррарского мрамора работы скульптора Августа Штрейхенберга и поныне стоит на городской площади — там, где когда-то на этом месте стояла штабная палатка главнокомандующего…
В конце XVIII века усадьбу князей Долгоруковых Волынщину-Полуэктово посетил русский поэт и сенатор Ю.А. Нелединский-Мелецкий (1752–1829), автор песни «Выйду ль я на реченьку…». Это он одним из первых оценил талант A.C. Пушкина. Не справившись с заказанным ему царским двором стихотворением, он поехал в 1816 году в Царскосельский лицей к юному Пушкину и уже через час или два увез оттуда сочиненные Пушкиным готовые стихи («Принцу Оранскому», 1816). Нелединским-Мелецким написана эпитафия к надгробию князя В.М. Долгорукова-Крымского: