Это единственное упоминание о жене в письмах и блокнотах Генри, если не считать записей в дневнике, сделанных в соответствующее время: «Э. родила дочь», а позднее «Э. родила сына». Разумеется, это почти ни о чем не говорит. Генри был викторианцем и, подобно большинству мужчин из верхнего среднего класса викторианской эпохи, проводил четкую границу между работой и семейной жизнью, вплоть до того, что считал свои дневники хранилищем профессиональных обязательств, а письма — дружеской откровенностью мужчин. Но все это ни в коем случае не указывает, что Генри женился на Эдит Хендерсон не по своей воле; на самом деле он ее любил.
Тем не менее во время женитьбы принца Леопольда на Хелене Вальдек-Пирмонт Генри был влюблен в Оливию Флоренс Шарлотту Бато — или очень умело имитировал нежные чувства. Девушка также ни разу не упоминала его имени в дневниках и письмах, в отличие от ее отца и матери, причем они писали о его визитах в их лондонский особняк, а также в загородный дом Грассингем-Холл в Норфолке. По всей видимости, Генри встречался с ними и раньше, но первая запись об этом в его дневнике относится к марту 1882 года. Генри отмечает: «Ужинал с сэром Джоном Бато на Гросвенор-сквер». На странице дневника напротив этого дня есть кое-что еще: пентаграмма, свидетельствующая о послеобеденном визите к Джимми Эшворт.
Генри еще раз ужинает с Бато в апреле, а затем в мае, за два дня до двухнедельного пешего путешествия по Швейцарии, а через неделю после возвращения едет на верховую прогулку в Гайд-парк вместе с «леди Бато и ее дочерями». Нигде нет никаких сведений о том, как он познакомился с семьей Бато, не говоря уже об отношении к ним. Однако в начале октября того же года Генри «поехал в Норфолк на охоту», и хотя он не упоминает, где остановился, запись заканчивается словами о том, что «Грассингем-Холл очень красив». В сентябре будущий лорд Нантер устраивал званый ужин в своей квартире на Уимпол-стрит, вероятно, после возвращения с Чалкот-роуд, потому что на этой странице тоже присутствует пятиконечная звезда. Этот званый ужин первый, когда-либо упоминаемый в дневнике, и Генри перечисляет гостей, причем в строгом алфавитном порядке: мистер и миссис Аннерли, сэр Джон и леди Бато — вот оно, опять — «с дочерями», доктор Барнабас Коуч, доктор и миссис Виккерсли. Кто такие Аннерли и Виккерсли? Время от времени их имена появляются в дневнике, но без всяких указаний на то, кто они такие. Генри не отступил от принятых правил, пригласив равное число мужчин и женщин. Однако из дневника выясняется один важный факт — по викторианским меркам Генри часто виделся с Оливией.
В октябре Констанс Бато пишет своей подруге Хелен Милнер: