На зиму они переехали в Пермь, и в декабре того же года у них родился сын Николай (Кокушка), единственный пермяк из дягилевских детей. Однако к Перми у Анны Ивановны душа не лежала. Под предлогом воспитания детей в конце следующего лета караван «вернулся обратно в Петербург, но сам Павел Дмитриевич с тех пор остался в Перми». Мамаша предпринимала ещё несколько попыток переселения в Пермскую губернию, но все они заканчивались тем же. Больше года она не выдерживала и могла свободно вздохнуть лишь тогда, когда снова возвращалась в Петербург.
После летней поездки на Урал в 1876 году петербургский круг семьи Дягилевых сплотился ещё теснее. Они часто встречались — у мамаши на воскресных обедах, у Паренсовых, Философовых, у Мариши Корибут-Кубитович. Повод к постоянным собраниям на квартире Павла Павловича дал приезд из Парижа Александры Панаевой. «Её давно не слыхали в Петербурге и не могли достаточно наслушаться», — уверяла Елена Валерьяновна. У Дягилевых Александра Панаева выступала со своим «присяжным аккомпаниатором» Николаем Свирским, которого брала с собой в Париж.
Молодой пианист Свирский, из семьи небогатых помещиков, «с вечно осклабленными губами», был известен всем Дягилевым. Будучи студентом, он несколько лет служил репетитором детей сестры Мариши и даже жил в её доме. А как аккомпаниатор идеально исполнял свою роль. «Плоховал он только тогда, когда совершенно растает от восторга — заплачет и растеряется, — писала Е. В. Дягилева. — В таких случаях он получал удары по пальцам от певицы, но это мало помогало, потому что тогда ещё больше он таял и ещё больше влюблялся». Зимой Александра Панаева снова уехала с ним во Францию для продолжения уроков у Виардо. Но собрания у Дягилевых на Шпалерной улице не прекратились. У них возникла идея организовать домашний музыкальный кружок.
«Поленька принялся собирать хор, приобретать ноты, отдавать в переписку партии… Всё это при его энергии спорилось, и скоро открылись наши «четверги», — вспоминала Елена Валерьяновна. На занятия кружка, посвящённые в основном вокалу, собиралось до тридцати человек. «Салонное отношение к музыке», как и небрежное посещение занятий, было полностью исключено, а дисциплину Поленька держал военную. На так называемые «дягилевские четверги», кроме исполнителей, никого не допускали, «за исключением двух лиц: дедушки Литке и мамаши Анны Ивановны».
Первым приезжал «семейный патриарх» Фёдор Петрович Литке, большой знаток и любитель музыки. Седой как лунь, с густыми нависшими бровями и торчащими бакенбардами, он «просиживал часа полтора, выслушивая внимательно даже разучивание партий по голосам, выпивал чашку молока и уезжал домой». Как исключение из правил у музыкального кружка появился вскоре и третий слушатель — Виктор Петрович Протейкинский, которого все почему-то называли «Висенькой». Его мать, урождённая Дягилева, имела пермские корни и была родной сестрой папаши Павла Дмитриевича. После окончания университета Протейкинский служил у писателя Лескова, позднее — у философа Соловьёва, выполняя обязанности секретаря-референта. На рубеже ХIХ — XX столетий он будет также в качестве слушателя посещать вечера в другой дягилевской квартире — уже Сергея Павловича — на редакционных собраниях журнала «Мир Искусства».
Пока же Серёжа, как и его младший брат Линчик, по «четвергам» засыпал под хоровое пение и звуки музыки, доносившиеся с репетиций, которые продолжались с девяти вечера до полуночи, а порой заканчивались и за полночь. Среди участников кружка был ещё один человек, с которым Сергею Дягилеву предстояло в будущем иметь дело при организации Первой международной выставки картин журнала «Мир Искусства». Это — художник Василий Дмитриевич Поленов, вернувшийся тем летом из заграничной пенсионерской поездки Императорской академии художеств и сразу же получивший звание академика за предоставленную в качестве отчёта картину «Арест гугенотки».
Во Франции Поленов (как и Дягилевы) познакомился с Тургеневым, который ввёл его в салон Виардо, и даже получил от знаменитой певицы несколько уроков по вокалу и композиции. Представители дворянской семьи Поленовых, известной своими тесными связями с русской культурой, в том числе культурой усадебной, будут эпизодически появляться в начале пути Сергея Дягилева. Довольно приятным, но недолгим будет его сотрудничество с художницей Еленой Поленовой, стоявшей у истоков нового русского искусства и с симпатией относившейся к дягилевским начинаниям. Совсем иные отношения сложатся с чиновником Дирекции Императорских театров Константином Поленовым, который будет участвовать в сложных интригах против Сергея Дягилева. Но до этого ещё далеко, — вернёмся к музыкальным «четвергам» на Шпалерной.