Князь Долгоруков был женат два раза, второй раз на вдове Пожарской, урожденной Безобразовой; обе его жены были красавицы и очень его любили, несмотря на то, что он был очень некрасив или, вернее, даже безобразен. Долгоруков это знал и чувствовал, и очень мило над собою подшучивал, говоря: «Мать-натура для меня была злою мачехой, оттого у меня и была такая скверная фигура, а на нижнюю губу материала она не пожалела и уж такую мне благодатную губу скроила, что из нее и две могли бы выйти, и те не маленькие, а очень изрядные».
Князь также очень мало обращал внимания на свой туалет и был очень неряшлив в домашнем быту и с короткими своими. Его современница Е. П. Янькова рассказывает: «Несмотря на свою неприглядность, князь заставлял забывать в разговоре, что некрасив собой; бывало, слушаешь его умные речи и замысловатые шутки, а каков он из себя – об этом и позабудешь».
Преосвященный Августин отзывался о нем, как о человеке большого ума. «Князь, – говорил он, – вельми умен, но не вельми благоразумен». А. Т. Болотов говорит о нем, что он на проказы был большой ходок и в бытность пензенским вицегубернатором в провиантских делах и подрядах так напакостил, что на все государство был разруган от Сената. Та же Янькова говорит про него, что он – человек честный и хороший, в дружбе очень преданный, он все имел, чтоб сделать себе карьеру, и при этом, как сам говаривал, «никогда не мог выбиться из давки».
Он всю жизнь свою провел под тяжелым гнетом долгов и врагов. Это потому, быть может, что он был великий мастер на всякие приятные, но ненужные дела, а как только представлялось какое-нибудь дело важное и нужное, точно у него делалось какое затмение ума: он принимался хлопотать и усердно хлопотал – и все портил, и много раз совершенно бы погиб, если бы влиятельные друзья и сильные помощники не выручали его из беды!
Долгоруков место вице-губернатора получил довольно отважно; он адресовал на имя императрицы письмо, в собственные руки, в котором говорил, что желал бы трудиться и быть полезным. Ответом было назначение его вице-губернатором.
О своей службе в Пензе он говорит, что тогда он еще любил службу страстно, «в восхищении юного человека, который на все смотрит с желанием – образовать свет и сделать лучшим; я писал не приказным слогом, и не авторским, а вдохновенным самой природою, т. е. так, как я думал и чувствовал».
Возвращаясь к характеристике князя И. М. Долгорукова, мы видим, что в Пензе он прослужил до самой кончины Екатерины II. Довольный своей судьбою, здесь он написал «Камин в Пензе». Это произведение имело большой успех, было переведено на французский язык, и даже Делиль просил прислать ему в Париж этот перевод. В Пензе князь испытал много неприятностей. Так, его даже «в клоб с подпиской не пускали».
Живя в этом городе, князь любил по вечерам поиграть в карты без чинов, со всяким даже разночинцем, по этому случаю он говорит:
На этот случай князь написал комедию в стихах: «Дурылом, или Выбор в старшины». Главное лицо в ней был владимирский оригинал Дуров, кроме его еще три лица списаны с натуры; прочие характеры вымышлены. При восшествии на престол императора Павла он был отставлен от дел, но вскоре опять получил место в Москве; здесь он продолжал службу до восшествия на престол императора Александра I.
В 1802 году князь получил место владимирского губернатора; здесь Долгоруков выстроил здание для сохранения ботика и остатков дома Петра I и богадельню для матросов-инвалидов, и открыл в 1805 году Владимирскую губернскую гимназию.
После этого он был избран в почетные члены Московского университета; он надел университетский мундир с чувством благородной гордости.