Чугунная ограда, раскидистые деревья тенистого сада, прихожая с парадной лестницей, белый зал, кабинет — так много лет спустя, уже в эмиграции, описывал долгоруковский особняк Н. Н. Львов. В 1792 году в этом доме родился поэт П. А. Вяземский. С 1804 по 1811 год здесь жил Н. М. Карамзин. В этом доме он писал «Историю государства Российского». В 1896–1898 годах на первом этаже снимал квартиру художник В. А. Серов. Теперь же, 17 ноября 1899-го, здесь собрались шесть человек: хозяева, братья-близнецы Долгоруковы, князья Петр и Павел, граф П. С. Шереметев, граф Д. А. Олсуфьев, Ю. А. Новосильцев и В. М. Петрово-Соловово. Этот кружок пока не назывался «Беседой». Название было предложено позднее Н. А. Хомяковым, кооптированным в объединение лишь в 1901 году. Его задумка была вполне остроумной. Все знали о перлюстрации: министр внутренних дел, вне зависимости от фамилии, был большой ценитель частной переписки. На «беседу» можно было звать друзей без особой боязни быть превратно понятым полицейским начальством. Впрочем, «собеседники» не слишком стеснялись своих встреч. О них узнал В. К. Плеве — и в начале 1904 года прислал бумагу губернскому предводителю московского дворянства князю П. Н. Трубецкому с просьбой довести до сведения князя Павла Долгорукова, что ему известно об этих собраниях. Долгоруков написал министру:
Вы совершенно правы. Я собираю у себя своих единомышленников, и мы ведем разговоры о будущей конституции в России. Имею честь довести до вашего сведения, что я противник существующего абсолютизма.
В 1902 году знакомый писал князю Павлу Долгорукову:
Недавно сравнительно я узнал случайно от своего родственника о существовании основанного несколькими либералами тайного общества, называемого Вами «беседами», состоящего пока только из 30 членов из цвета нашей аристократии, в числе коих состоите вы, князь, с Вашим братом князем Петром Дмитриевичем, граф В. А. Бобринский, князь С. Н. Трубецкой, князь М. В. Голицын, граф П. А. Гейден, граф П. С. Шереметев, М. А. и А. А. Стаховичи, Д. Н. Шипов и др. Перечислять всех излишне. Общество это, несмотря на свое нелегальное существование, преследует цели совершенно не свойственные частным лицам, идущие вразрез с мероприятиями правительства. Слишком красноречиво говорят об этом журналы «бесед», в особенности первый — программный, и потому я не буду много распространяться, полагая, что все это хорошо вам известно, как представителю Бюро этих «Бесед».
В 1905 году в составе «Беседы» числились уже 56 человек. Кружок пополнялся посредством кооптации, причем для утверждения кандидата требовалось согласие абсолютного большинства присутствующих. Это было элитарное объединение, в которое входили почти исключительно представители высшей аристократии. «Беседу» в шутку называли «палатой лордов»: из 56 человек, числившихся в ее составе, было 12 князей, 7 графов, 2 барона. Из 42 человек, принимавших непосредственное участие в работе кружка, было 9 князей и 5 графов.