Многочисленные увлечения и экстравагантность поведения — еще не повод для заключения о несчастной семейной жизни. М. И. Кутузов прожил в любви и согласии со своей супругой Екатериной Ильиничной, урожденной Бибиковой, 35 лет. За эти годы ничто не омрачило их супружеского союза. Жена всегда была верным и преданным другом своему мужу. В письмах она передавала ему светские происшествия, толки, пересуды, даже сплетни, благодаря чему Кутузов был всегда в курсе столичных и придворных новостей. Он же через супругу сообщал необходимые сведения в Петербург. Эти письма, содержавшие множество подробностей домашней и светской жизни семейства Кутузовых (у полководца было пять дочерей), стали на протяжении долгих лет единственным средством общения между мужем и женой, которых разъединяли то войны, то дипломатические и административные миссии.
Екатерина Ильинична из Петербурга почти не выезжала. Княгиня жила широко и открыто, как и полагалось жить большой барыне, и, как не раз намекал ей муж в переписке, тратила больше, чем позволяли их средства, что также соответствовало духу времени. Она занималась литературой, страстно любила театр. Разлука объясняла многочисленные увлечения обоих супругов, о которых с иронией упоминали мемуаристы. В соответствии с нравами многих аристократических семейств Кутузов сообщал о своих многочисленных «пассиях» в письме к дочери Е. М. Хитрово. Однако семейная жизнь Кутузовых от этих малозначащих по тем временам происшествий не страдала. Об одном забавном случае счел нужным поведать в записках В. И. Левенштерн: «Кутузова была женщина чрезвычайно умная; она прекрасно говорила по-французски, но с весьма оригинальным акцентом. В молодости у нее было много поклонников; было заметно, что она с трудом мирилась с тем, что время брало свое. Весьма снисходительная к ошибкам других и любезная с теми, кто ухаживал за ее дочерьми, она нападала на мужей, которые их ревновали.
Не знаю, почему ей пришла в голову фантазия показать в ее интимном кругу, что я был ее любовником. Так как мне это вовсе не нравилось и могло повредить мне в глазах молодых женщин, то я решил изобличить ее выдумку, но сделал это довольно грубо. Госпожа Кутузова пригласила к обеду, запросто, двух своих приятельниц, княгиню К., графиню З. и меня. Эти две дамы славились своими легкими нравами; у каждой из них заведомо был любовник из молодых гвардейских офицеров, которых оне щедро наделяли деньгами.
Поэтому я был крайне удивлен, очутившись один в обществе этих трех дам. Мне тотчас пришло на ум, что г-жа Кутузова хотела этим показать, что я для нее то же, что означенные гвардейские офицеры для этих дам. Я был недурен собою и пользовался успехом у женщин, так, что это могло быть приятно ей, но не мне. Я покраснел от досады от одной этой мысли, однако, не потерявшись, подошел к хозяйке дома, рассыпался перед нею в извинениях по поводу того, что не могу отобедать у нее, и в присутствии дам сказал ей, что это день ангела девицы