Один из них сложился в общении с Гавриилом Якимовичем Ломакиным. Это был выдающийся хоровой дирижер. Лучшие музыканты Петербурга — Глинка, Одоевский, Серов — высоко ценили его искусство. Балакирева и Стасова связывали с ним дружеские узы. Ломакин преподавал пение в нескольких учебных заведениях, был широко известен как руководитель капеллы графа Д. Н. Шереметева. Этот хор прославился своим замечательным пением не только в Петербурге, но и за его пределами. Однако репертуар капеллы и круг слушателей целиком определялись волей графа. У Балакирева, Стасова и Ломакина возникла мысль организовать новый хоровой коллектив. Он давал бы регулярные открытые концерты и знакомил всех желающих с лучшими хоровыми сочинениями, с искусством хорового пения. Кроме того, для более эффективного распространения музыкальной культуры в массах необходимы учителя пения. Можно было бы готовить таких учителей, и каждый из них в дальнейшем станет развивать хоровое дело. Балакирев высказался за учреждение бесплатной музыкальной школы, в которой будут учить пению и давать начальное музыкальное образование всем желающим учиться независимо от сословия. А из учащихся школы можно создать хор.
Идея бесплатной музыкальной школы, ставившей своей целью музыкальное образование и просвещение, была близка идее воскресных общеобразовательных школ, распространившейся в те годы в России. Число этих школ в одном лишь Петербурге за несколько лет достигло тридцати. Помимо общеобразовательных, были и художественные школы, в частности школы рисования. Представители демократической интеллигенции бесплатно обучали всех, кто стремился к знаниям. Размах просветительского движения вызвал беспокойство в верхах. Шеф жандармов докладывал царю о необходимости принять меры, считая невозможным, «чтобы половина народонаселения была обязана своим образованием не государству, а себе или частной благотворительности какого-либо отдельного сословия».
При таком настороженном отношении властей к просветительскому движению открыть бесплатную музыкальную школу было нелегко. После длительной бюрократической волокиты 1 февраля 1862 года петербургский обер-полицмейстер подписал документ о том, что «с разрешения начальства» дозволяется «учредить в С.-Петербурге бесплатную школу музыки и пения». Директором ее стал Ломакин.
Молодые энтузиасты не представляли, сколько трудностей ожидало их. Помещения для школы не было, денег тоже. Хотя Ломакин и Балакирев намеревались даже работать безвозмездно, им все-таки необходимы были помощники. Немалые расходы требовались на освещение, переписку и хранение нот, на оркестр.
Для начала решили организовать в пользу школы концерт. Собрали хор любителей. Ломакин попросил Шереметева, и тот позволил выступить своей капелле. Пригласили оркестр и дирижера К. Шуберта. Концерт состоялся в зале Дворянского собрания. Так 11 марта 1862 года заявило о себе новое музыкальное учреждение. В тот же вечер у Ломакина, который жил в доме Шереметева (набережная Фонтанки, дом № 34; здание сохранилось), устроили торжественный обед.
А через неделю, 18 марта, состоялась официальная церемония открытия школы. Удалось договориться с начальством Медико-хирургической академии, и оно предоставило для этой цели свой зал (ныне вестибюль в одном из зданий Военно-медицинской академии: улица Лебедева, дом № 6). Народу собралось много. Ломакин произнес небольшую речь, затем составил список присутствовавших, прослушал их голоса и отпустил всех до следующей встречи.
11 апреля певцы-любители и хор Шереметева дали еще один концерт в пользу школы. А. Н. Серов в газете «Северная пчела» поместил большую, посвященную Бесплатной музыкальной школе статью «Залоги истинного музыкального образования в С.-Петербурге». Эти залоги он видел в принципах, на которых была основана Бесплатная музыкальная школа. Организаторов школы Серов причислял к людям, для которых главное — «честное служение делу, служение фанатическое, бескорыстное, где только в редких случаях возможно кое-какое примирение общей пользы с частными выгодами; большей же частью и выгоды, и спокойствие жизни, а иногда и положение в свете приносятся в жертву возвышенной руководящей мысли». Как показало будущее, слова Серова оказались справедливыми.
Осенью в школу собралось еще больше желающих учиться. По воспоминаниям Стасова, это были чиновники, купцы, ремесленники, студенты, а также девушки и женщины — люди без средств, но обладающие хорошими голосами и музыкальными способностями. Занятия хора теперь проходили в здании Городской думы на Невском проспекте (помещение было получено благодаря содействию секретаря думы — певца-любителя). По программе, составленной Ломакиным и Балакиревым, начали работу классы сольфеджио, теории, сольного пения, скрипки. Эти занятия проводились в особняке Шереметева на Фонтанке. Год спустя, по свидетельству петербургской газеты «Голос», число учащихся дошло до трехсот.