Но не только генерал Сухозанет тяготел над здравомыслящими людьми того времени; и военный министр князь Долгоруков докучал Милютину своим педантизмом и формализмом, вникал в такие мелочи, с которыми вполне мог бы справиться и любой офицер в армии. Милютину нравился его ровный, невозмутимый вид при решении самых важных задач, министр был человеком приятным в отношении к людям, но уж очень тяготел к формализму, порой казалось, что он больше думает о гладкости редакции, чем о сути дела. Работы было много, Милютин по-прежнему читал лекции в Военной академии по старым конспектам, но, поглощенный современными событиями, уже не мог столько же времени уделять историческим событиям.
Чаще всего Долгоруков поручал ему следить за европейскими делами, внимательно следить за действиями турок и западных морских держав.
Странное впечатление производил на Милютина князь Долгоруков, много разговоров вызывал он среди знакомых, чрезвычайно по-разному оценивавших его. В семнадцать лет он стал юнкером в конногвардейском полку, в ночь с 13 на 14 декабря 1825 года со своим взводом он стоял на посту в Зимнем дворце и видел панику в императорской семье, готовившейся к бегству из дворца: до семьи дошел слух о заговоре декабристов, которые могли дойти и до цареубийства, уже стояли на конюшенном дворе восемь карет, четверо крытых саней, кучера на козлах, форейторы на седлах каждую минуту готовы были к отправке с императорской семьей, а князь Долгоруков все это видел и испытывал тот же страх за крушение императорского дома. Чаще всего об этом и вспоминают недружественные люди, дескать, одни боролись за свободу, за конституцию, умные и даровитые ушли на виселицу и в длительную ссылку, а вот такие, как князь Долгоруков, по-прежнему улыбаются, делают карьеру, расточают свои улыбки, балагурствуют… Но в сущности и эти «вредные» люди указывают, что способствовало карьере Василия Андреевича… Он выгодно женился на племяннице графини Елизавете Алексеевны Остерман-Толстой, урожденной княжны Голицыной, доброй, умной, пользовавшейся большим влиянием в обществе и в родственной среде. Племянница Ольга Карловна Сен-При не отличалась особой красотой, порой ее находили даже безобразной, но она была умна, бесхитростна, благородна, прямоту своего характера проявляла не только в семейном кругу, но и в светском обществе, поражая своей откровенностью придворных императора. Превосходно Ольга Карловна вела и своего мужа по ухабам придворной жизни, наделяя его умом, деловитостью, осторожностью, присущей сметливым дипломатам. И многие верили ей, особенно император, любивший льстивость, угодливость, добрый оптимизм, душевность, а этих качеств в военном министре было хоть отбавляй… В двадцать семь лет Долгоруков получил «вензель на эполеты», стал флигель-адъютантом, не просто за заслуги, а благодаря стараниям графини Остерман-Толстой, действовавшей через князя Александра Николаевича Голицына, одного из самых влиятельных царедворцев, начавшего служить еще при Екатерине Великой. А потом уж жизнь потекла по нормальному придворному руслу. В 1837 году Долгорукова послали во главе дипломатической миссии к сербскому князю Милошу Обреновичу с императорским посланием и серьезными предложениями. Милош Обренович принял посла превосходно, устроил Долгорукову превосходный прием, а провожая его в Петербург, далеко отъехал от своей резиденции, что тоже было воспринято как явление удачное и положительно было воспринято при дворе Николая Первого. С такими же немалыми трудностями ему удалось попасть в свиту к цесаревичу Александру, отправлявшемуся в длительную заграничную поездку по странам Европы. Князь Долгоруков исполнял обязанности бухгалтера, учитывавшего расходы поездки, за это время князь Долгоруков вошел в доверие и к наследнику Александру.