Судьба особенно благоприятствовала Брокдорфу, который, помимо своего третного жалованья, явился обладателем трёх тысяч рублей, выигранных им у графа Петра Шувалова за три партии экарте. Он тотчас употребил часть своего избытка, казавшегося ему неистощимым, на то, чтобы с помощью Завулона Хитрого пополнить свой гардероб и заменить поддельные камни на рукоятке своей шпаги и на пряжках башмаков топазами и аметистами. Само собою разумеется, что при своей новой экипировке Брокдорф выбирал бархат и шёлк, притом особенно ярких цветов, которые сочетались в его костюмах самым необычайным образом, так что его появление возбуждало всеобщее внимание, а великая княгиня никогда не пропускала случая сказать ему комплимент насчёт оригинальности его туалета.
Однако, несмотря на счастливое положение, в котором находился новый камергер великого князя, многое было ему здесь не по душе и нарушало его довольство. В вечерние часы, свободные от придворной службы, всякий раз, когда Брокдорф мог отлучиться, он посещал дом на Фонтанной, где жили обе девицы Рейфенштейн. Его влекло туда, кроме их общества, ещё одно побочное обстоятельство; граф Пётр Шувалов поручил новому камергеру регулярно бывать в этом семействе, чтобы приносить ему сведения обо всём, что делается при дворе великого князя. Марию Рейфенштейн очень мало интересовали посещения голштинского дворянина. Когда он сидел у сестёр в гостях, она обыкновенно валялась на диване, перелистывала французские романы, отделывала с помощью пилочек и щёток свои розовые ногти или с наивнейшей непринуждённостью занималась своим туалетом, не замечая присутствия Брокдорфа. Наоборот, её сестра Клара забавлялась частым гостем, вносившим некоторое разнообразие и развлечение в их монотонную жизнь. Она неутомимо поддразнивала нового камергера и направляла свою собачку на его пёстрые чулки, причём Брокдорф нередко был готов не на шутку рассердиться. Но юная плутовка умела посмотреть на него тогда таким очаровательным взором, смиренно молившем о прощении, так прелестно надувала губки, высказывая, как она завидует придворным дамам, которые ежедневно вращаются в его обществе и скоро заставят его позабыть своих первых друзей в Петербурге, что барон в приливе восторга и гордости тотчас забывал всякую досаду и пускался снова шутить с молодой хозяйкой. Он играл с её собачкой, проделывал всякие па, становился в позиции, которые требовались новыми фигурами менуэта, исполняемого при дворе, и что каждый раз смешило Клару до слёз, вызывая мимолётную улыбку даже на равнодушном лице Марии. Эти шалости привели к тому, что Брокдорф совершенно серьёзно влюбился в свою обворожительную мучительницу и не оказывал больше сопротивления её тираническим капризам.
Часто голштинец встречал у сестёр Рейфенштейн графа Петра Шувалова, который тогда, с довольно холодным и надменным видом, приглашал его подробно сообщить ему обо всём виденном и слышанном, но резко обрывал своего собеседника, если тот обнаруживал склонность к излишним разглагольствованиям. Однако граф не оставлял его больше ужинать с обеими девицами, а ещё менее того думал предлагать ему партию в экарте, на что Брокдорф, истратившись на множество покупок, согласился бы очень охотно и даже позволил себе однажды слегка намекнуть. Напротив, едва барон успевал дать отчёт обо всём случившемся при малом дворе и ответить на различные заданные ему вопросы, как граф Пётр Иванович спешил отпустить его теперь таким повелительным взором, что тому не оставалось ничего иного, как смиренно удалиться с безмолвным поклоном.
Вдобавок и положение Брокдорфа при великокняжеском дворе не соответствовало тем высокомерным надеждам, которые он стал питать с первого же дня после принятия его на службу. Хотя великий князь неизменно выказывал приветливую сердечность и простоту в обращении с ним, как и с прочими голштинцами, своими подданными, однако взоры Петра Фёдоровича как будто всё больше с каждым днём направлялись или были направлены на комические стороны в наружности его нового камергера, и если тонкая, язвительная ирония, таившаяся в комплиментах великой княгини, оставалась непонятной довольно развитому себялюбию и самодовольству Брокдорфа, то он не мог ошибиться насчёт гораздо более резких замечаний великого князя, который часто разглядывал его с громким хохотом и сравнивал то с удодом из-за торчащего гребня парика, то с попугаем из-за пестроты костюма. Брокдорф всякий раз складывал при этом свой широкий рот в почтительную, подобострастную улыбку, но не мог удержать ядовитой злобы, сверкавшей в его маленьких проницательных глазках. Кроме того, ему никогда не удавалось вызвать великого князя на какой-нибудь серьёзный разговор о голштинских делах, так как тот резко отклонял все замечания Брокдорфа насчёт управления герцогством.