Однако бумажная работа составляла лишь часть, хотя и наиболее трудоемкую, обязанностей Генри Понсонби. Он должен был внимательно следить за всеми предписаниями при дворе, за соблюдением всех чинов и титулов и просматривать все петиции и прошения, адресованные непосредственно королеве. Многие из них, не имевшие к ней никакого отношения, он вообще выбрасывал в корзину. Кроме того, личный секретарь часто вмешивался в конфликтные ситуации между отдельными членами королевского семейства и принимал самое непосредственное участие в восстановлении нормального порядка среди придворных. Так, например, он сделал все возможное, чтобы успокоить довольно нервную и неуравновешенную маркизу Эли — вдову, страдающую дефектом речи и вынужденную передавать поручения королевы «таинственным шепотом», который Генри Понсонби не мог разобрать, не напрягая слуха. Она жаловалась, что требования королевы «убивают ее», и обижалась, что ее величество не дала аудиенции ее сыну, потому что якобы невзлюбила его. «Это показывает, — говорил мажордом Томас Биддалф Генри Понсонби, — что у нее совершенно абсурдное отношение к королеве».
Генри Понсонби выполнял роль посредника не только между королевой и ее семьей, но и между королевой и немецким секретарем Германом Залем, который часто просто не понимал особенностей придворного этикета и обижался по пустякам, иногда даже не спускаясь к ужину. Немало конфликтных ситуаций возникало и между врачами, с одной стороны, и остальными придворными — с другой. Так, например, сэр Уильям Дженнер был радикальным тори и часто ругал на чем свет стоит либеральное правительство Гладстона. Подобные взгляды могли удовлетворить королеву, но никак не либерально настроенного Генри Понсонби, который часто вступал в открытый конфликт с врачом королевы, отстаивая свои взгляды. «Он нападает на престарелого лорда — хранителя печати Карлингфорда и совершенно глухого бывшего лорда-канцлера Кернза, — жаловался Понсонби своей жене. — И обвиняет их в том, что они не понимают его. Я припер сера Уильяма Дженнера к стене теми же аргументами, которые часто использует он сам, а в ответ услышал, что ничего подобного он не делал. В конце концов он упрекнул меня в том, что и я его не понимаю, и вообще посоветовал обратиться к специалистам, так как, по его мнению, у меня что-то происходит со слухом».
Несмотря на многочисленные стычки по политическим вопросам, Понсонби ценил Дженнера и считал его прекрасным врачом. Так же примерно он относился и к Джеймсу Риду. Но когда Рид впервые прибыл во дворец, ему сообщили, что поскольку он обычный доктор, то не имеет права есть за одним столом с придворными джентльменами, так как это нарушает традиции, сохраненные королевой. Джеймс Рид молча перенес эту обиду и стал давать собственный ужин, который предпочли посещать многие придворные, уставшие от тоскливой и скучной трапезы за общим столом.
Именно ради таких людей, как Джеймс Рид, Генри Понсонби решил смягчить суровые нравы в королевском дворце и придать придворной жизни больше шарма и веселья. Разумеется, тоскливое течение жизни в Лондоне никогда не было таким тягостным, как в Балморале, который ассоциировался у королевы со счастливыми днями супружества и который терпеть не могли ее министры. Многие гости отмечали, что здесь смертельная скука и невыносимое однообразие.
Сэр Генри Кэмпбелл-Баннерман, который в качестве министра правительства посетил королевский замок Балморал, сообщал своей жене:«Это самая веселая жизнь, которую только можно себе представить. Мы встретились за обеденным столом: завтрак — в 9.45; ленч — в 2.00; ужин — в 9.00. А после окончания каждого приема пищи все были предоставлены сами себе... В такую погоду я предпочитал лежать на диване и читать книги в своей комнате... Дворец покрыт коврами, а все окна занавешены были портьерами в клеточку. Повсюду какие-то странные коридоры и переходы, в которых так легко запутаться. Однажды я вышел погулять, а потом долго не мог найти свою комнату... Снег идет с 10 часов утра... Я отправился в церковь... Мои собеседники завидовали, что у меня есть меховое пальто... Однако самое интересное заключается в том, как придворные справляются с такой скукой. За ужином все начинают шептаться и переговариваться, обсуждая каждого из присутствующих... Они так устали друг от друга, что даже вскакивают от появления незнакомого человека».
Конечно, была там и некоторая компенсация за такую смертельную скуку. Так, например, Кэмпбелл Баннерман познакомился и «неплохо поладил» с принцессой Луизой и принцессой Беатрисой, которые развлекали его все это время. Да и Генри Понсонби оказался довольно милым и приятным человеком, который знал невероятное количество интересных историй. К примеру, он рассказал Кэмпбелл-Баннерману, как миссис Гладстон писала письмо: «Дорогой лорд Бортвик, не позволите ли вы моему сыну ловить рыбу в ваших водах Инверколда?» Через некоторое время она получает ответ: «Дорогая миссис Гладстон, во-первых, не лорд, во-вторых, я не живу в Инверколде, а в-третьих, у меня нет рыбы».