Николай Григорьевич поступил на службу в канцелярию генерал-губернатора и до самой смерти числился в чиновничьем звании. Семейная жизнь не сложилась – женился он чуть ли не на пари. Встретив на одной из вечеринок девушку из семьи Крушевых, Николай Григорьевич влюбился и сделал предложение. Отец невесты навел справки – и потребовал, чтобы Рубинштейн отказался от всяких платных выступлений: в глазах помещика-землевладельца пианист, выступающий на эстраде, не был солидным женихом для дочери. Но все это только раззадорило молодого человека: Николай отказался от приданого и женился на Крушевой, заявив, что без труда сможет содержать ее сам. Невесту свою он едва знал, и не удивительно, что из этого брака ничего хорошего не вышло. В 1857 г. Рубинштейн уволился из канцелярии, и в этом же году супруги расстались: молодая жена заявила, что видела мужа лишь по воскресеньям.
А Николай Григорьевич вновь начал после долгого перерыва концертную деятельность. Он отправился в Лондон, чтобы выступить вместе со знаменитым Венявским, польским скрипачом и композитором. Брат Антон одобрил эту поездку: пусть в Лондоне услышат другого Рубинштейна… Интересно, что много позже Бахтин скажет о Николае: «Он не был виртуозом. Это был педагог… Был музыкант. Замечательный музыкант. Но не виртуоз». Вопреки этой категорической оценке, сам Антон Рубинштейн очень высоко ценил игру брата и часто говаривал: «Вы полагаете, что я хорошо играю? Вы послушали бы моего брата Николая!» И это мнение подкреплено отзывами таких людей, как Толстой, Чайковский, и многих других деятелей культуры и искусства, не говоря о множестве благодарных слушателей, побывавших на концертах Николая Григорьевича.
Через некоторое время, когда оба брата уже вернулись в Россию, в Петербурге по инициативе Антона Рубинштейна было создано Русское музыкальное общество. Антон предложил брату создать такое же общество и в Москве. Николай Григорьевич сразу загорелся этой идеей. Он посвятил в замысел всех своих влиятельных друзей. В январе 1859 г. он получил от Антона только что принятый Устав Русского музыкального общества. Сыграв на давнем соперничестве между Москвой и Петербургом, Николай Рубинштейн увлек своей идеей не только друзей, но и московского генерал-губернатора князя Долгорукова. Московское музыкальное общество было учреждено и стало знакомить жителей древней столицы с произведениями великих европейских композиторов и отечественных авторов, поддерживать молодые таланты. Оркестр общества был составлен из музыкантов оркестра Большого театра и частной оперы.
Николай Григорьевич дирижировал оркестром на концертах общества, исполнял партию фортепиано в камерных ансамблях. Одним из самых активных посетителей его концертов был граф Лев Толстой, шумно аплодировавший после исполнения своих любимых произведений. У Николая Рубинштейна было множество учеников; приходилось заниматься и с участниками концертов, для чего музыкант использовал собственный дом.
После возвращения в 1860 г. из очередной зарубежной поездки он вплотную занялся своими музыкальными учебными классами. Вскоре было найдено и помещение (невдалеке от Румянцевского музея). Классы с оплатой 1 рубль в месяц могли посещать все желающие… Эти классы Николая Рубинштейна в 1866 г. стали называться Московской консерваторией. На посту директора консерватории Николай Григорьевич проявил себя требовательным педагогом, неумолимым администратором и коллег подобрал таких же. Отбор студентов и преподавателей был очень строгим. Николай Григорьевич пригласил в качестве профессоров лучших европейских и российских музыкантов-исполнителей. Московская консерватория переживала стремительный взлет.
Московские музыканты и любители музыки относились к Николаю Рубинштейну с обожанием: человек колоссальной энергии и обаяния, он был всеобщим кумиром. По словам известного критика Г. Лароша, «Москва отплатила Николаю Григорьевичу действительно необычайной преданностью. Ему едва исполнилось тридцать, этому маленькому человеку в официальном чине «правительственного чиновника», но он был местной знаменитостью в том смысле, что его приравнивали к самым важным старейшинам; его приглашали возглавлять всякие чествования как некоего архиепископа». В Москве его называли только «Николай Григорьевич» – фамилию можно было не упоминать.
Несмотря на фанатичную преданность музыке, Николай Григорьевич не чурался и других радостей жизни. Он любил выпить, дни и ночи проводил за карточным столом, двери его дома были все время открыты для друзей и знакомых. Но при этом в доме почти все время звучало фортепиано, и Рубинштейн никогда не опаздывал на занятия или репетиции. В него влюблялись, из-за него стрелялись, о его романах говорила вся Москва. И все же основой его жизни было не это кипение страстей, а творчество.