В 1803 г. по приглашению 59-летней Дашковой в Москву приехала и жила у нее почти 5 лет дочь ее знакомых, молодая англичанка Мэри Вильмонт, несколько лет (1805–1807) гостила у нее и ее сестра Кэтрин. Дашкова особенно привязалась к Мэри, которая стала ее главной радостью и утешением на старости лет. Дашкова занималась с ней французским и русским языками, одарила ее чрезвычайно дорогими подарками (о каких ее сын и дочь не могли и мечтать). Она возила девушек в театр, на балы, народные свадьбы, гуляния, к цыганам, к раскольникам, устраивала для них спектакли домашнего театра, катания с гор, ездили в Троице-Сергиеву Лавру, в Ростов Великий, Переславль-Залесский, в другие интересные места. Жили они то в Москве в роскошном доме Дашковой (построенном по ее чертежам, на этом месте теперь здание Консерватории), то в Троицком. Мэри с упоением слушала рассказы Дашковой о прошедших временах, о событиях в ее жизни, проявляла искренний интерес ко всему, восхищалась неординарной натурой княгини. Но обе девушки в известной мере стали новой игрушкой, живой забавой княгини. Они не противоречили ей, во всем подчинялись ее желаниям. Неоднократно Мэри просила Дашкову помириться с сыном и дочерью, но она не хотела идти на примирение с ними. После отъезда Кэтрин она решила удочерить Мэри Вильмонт, сделать ее своей наследницей. Мэри была кем-то беспричинно оклеветана, отношения Анастасии с матерью еще более накалились. При прощании с умершим Павлом в церкви разразился семейный скандал: Екатерина Романовна и Анастасия оскорбляли друг друга, высказывали взаимные претензии и угрозы, из-за их криков пришлось приостановить отпевание. Анастасия пыталась оттеснить от гроба мать с ее молодой компаньонкой. Клевета, ухудшившееся к ней отношение людей, усталость от обременительного внимания и чрезмерной любви к ней старой княгини заставили Мэри Вильмонт вернуться к себе на родину. Она доказала необходимость этого Дашковой, но обещала непременно вернуться. Чтобы не расстраивать лишний раз Е.Р. Дашкову (знавшую о готовившемся отъезде Мэри), девушка уехала из ее дома, когда она спала, не забыв взять многочисленные и очень дорогие подарки, а также рукопись воспоминаний княгини, которые она написала по ее совету в 1805–1806 гг. Свои «Записки» княгиня Дашкова писала на английском языке в Троицком и в Москве. (Первое издание мемуаров Дашковой вышло в 1840 г. – через 30 лет после её кончины – на английском языке. А.И. Герцен заинтересовался «Записками» княгини Е.Р. Дашковой и опубликовал их перевод на русском языке в 1859.)