С каждым годом совершенствовалась учебная программа Петербургской консерватории. Постепенно здесь сложилась система музыкальных учебных заведений, готовящих юных музыкантов к обучению в консерватории. Эта система впоследствии явилась образцом для других консерваторий страны..
Начало такой деятельности положил бывший ректором в 1886-87 годах Карл Юльевич Давыдов. В воспоминаниях современников мы встречаем в высшей степени благожелательные отзывы о Давыдове и о времени его руководства консерваторией.
Система включает детскую музыкальную школу и музыкальное училище при консерватории, а также основанную в 1936 году среднюю специальную музыкальную школу для особо одаренных детей (первым ее директором стал профессор Самарий Савшинский).
До 1887 года консерватория располагалось в ныне не существующем доме на углу Мойки и Демидова переулка. К 25-летию Санкт-Петербургской консерваторииИмператор Александр III повелел перестроить для нее здание Большого театра на Театральной площади, в самом центре столицы, напротив Мариинского театра. В конкурсе проектов победила работа архитектора Владимир Николя (1852–1902), для которого проект перестройки театрального здания стал вершиной его карьеры.
Новое здание консерватории открылось уже после смерти Рубинштейна. Тем не менее, на торжественной церемонии открытия звучала увертюра, написанная им специально для этого события. Именем А. Г. Рубинштейна был назван Большой зал Консерватории, построенный одновременно с основным зданием. Этот факт подчеркивает статуя Рубинштейна, расположенная у входа в зал.
На третьем этаже консерваторского здания Николя спроектировал малый концертный зал на 600 мест, интерьеру которого присуща особая красота и роскошь. В его декоре мотивы раннего классицизма соединены с элементами рококо, симметрия — со свободой изысканных плавных линий.
В 1867 под управлением Рубинштейна состоялся первый оперный спектакль (силами учащихся был исполнен «Орфей» Глюка). В 1885 открылся оперный класс (учащиеся ставили отрывки из опер М. И. Глинки, А. Н. Серова, В. А. Моцарта, Дж. Россини, Дж. Верди), полностью была исполнена «Русалка» Даргомыжского; расширялось участие консерватории в пропаганде классич. рус. и заруб. оперного искусства. С конца 80-х годов основное внимание было уделено воспитанию ярко одарённых исполнителей-солистов и композиторов, а также педагогов высокой квалификации.
В 1871 году на должность профессора кафедры теории композиции и инструментовки был приглашён Николай Римский-Корсаков. Его деятельность знаменовала собой новый этап в формировании профессионального композиторского и теоретического образования. Римский-Корсаков — автор первых учебных программ и учебников по гармонии и теории композиции, не потерявших актуальности до наших дней. За годы преподавания в консерватории (1871–1908) под его руководством сложилась крупная композиторская школа. Среди его учеников — около двухсот композиторов, дирижёров, музыковедов, в числе которых Анатолий Лядов, Александр Глазунов, Александр Гречанинов, Игорь Стравинский, Николай Мясковский, а также один из крупнейших итальянских композиторов Отторино Респиги. В 1944 консерватории присвоено имя Н. А. Римского-Корсакова. В 1952 году у здания консерватории был установлен памятник Римскому-Корсакову работы скульпторов В. Боголюбова, В. Ингала и архитектора М. Шепилевского.
В годы Великой Отечественной войны консерватория была эвакуирована в Ташкент, где активно содействовала развитию национальной музыкальной культуры и профессионального музыкального образования. Педагоги и студенты, которые не смогли выехать, продолжали работать в блокадном Ленинграде. В 1945 году консерватория возвратилась к родным пенатам.