В эти годы Рахманинов начал все чаще мечтать и говорить о дирижерской деятельности. Он увлекался звучностью, которую можно было вызвать в оркестре, мыслью о подчинении своей воле стольких инструментов. Мечтам его суждено было осуществиться совсем неожиданно в 1897 году. С.И. Мамонтов, который стоял во главе Русской частной оперы в Москве, пригласил его вторым дирижером в оперу. Богатый меценат, большой любитель искусства, Мамонтов сумел в короткое время найти и привлечь в свое предприятие целый ряд молодых талантов. Театр его пользовался большим успехом у публики и благорасположением критики. К именам уже хорошо известных певцов и художников, начинающих входить в славу молодых участников оперы (Забела, Шаляпин и др.) Мамонтов решил присоединить имя Рахманинова, поручив ему ответственное дело дирижера. Радость Рахманинова была велика. Предложение было таким заманчивым! Уговорившись с Мамонтовым, он выбрал для своего дебюта оперу «Жизнь за царя» Глинки. Оперу эту он знал хорошо, она казалась ему очень легкой, а ввиду ограниченного количества репетиций его выбор пал на оперу, которую, конечно, знали хорошо и оркестр и певцы. На эту оперу была дана ему всего одна репетиция. На репетиции, к изумлению Рахманинова, дело не пошло совершенно, и к концу ее ему стало ясно, что выступление его вечером должно быть отложено. С оркестром все шло гладко и хорошо, но с певцами ничего не выходило. Совершенно неопытный в дирижерстве, он не мог понять, в чем дело, а посоветоваться было не с кем. Главный дирижер оперы итальянец Эспозито встретил Рахманинова очень недружелюбно, видя в нем опасного соперника. Присутствуя на этой репетиции, он только посмеивался.
Мамонтов продолжал верить в Рахманинова, успокаивал его и предложил ему отдать «Жизнь за царя» Эспозито, а самому взять другую оперу для начала. Выбор пал на «Самсона и Далилу» Сен-Санса. В то же вечер «Жизнью за царя» вместо Рахманинова дирижировал Эспозито. Рахманинов, следящий с интересом за движениями Эспозито, понял вскоре, в чем состояла его ошибка и почему ему не удалось управление оперой на репетиции утром. Ему, как он потом рассказывал, не приходило в голову, что надо показывать певцам вступление, он не мог представить себе такого отсутствия музыкальности. Он думал, что, зная партии, они и без его помощи должны понять, когда каждому из них время вступить. Познав на горьком опыте дирижерские обязанности и поняв, в чем дело, он легко справился с оперой «Самсон и Далила». Опера имела шумный успех. Но и здесь, хотя не по вине Рахманинова, дело сошло не совсем гладко, так как роль Далилы была дана молодой, в первый раз выступающей певице Черненко, которая пела неудачно.
С большим успехом прошла и другая опера – «Русалка» Даргомыжского, где роль Мельника исполнял Шаляпин. Рахманинов дирижировал также и «Майской ночью» Римского-Корсакова, «Кармен» Бизе. Самолюбие его страдало из-за того, что иногда на утренниках, по воскресеньям, ему приходилось вести совершенно устаревшую оперу, не имевшую для него никакого музыкального интереса, – «Аскольдову могилу» Верстовского.
Со времени поступления Рахманинова в труппу Мамонтова начинается его дружба с Шаляпиным. Несмотря на различие характеров, вкусов, общества, в котором оба вращались, их обоих влекло друг к другу. Оба были молоды, талантливы, оба любили искусство. Проходя оперные партии, а потом разучивая романсы для совместного выступления в концертах, чуткий гениальный певец подхватывал малейшие указания или совет более музыкально образованного Рахманинова и исполнял вещи так, как только он мог это сделать. Рахманинов же, увлекаясь его исполнением, дополнял его, изумительно аккомпанируя ему. В течение ряда лет москвичи имели возможность наслаждаться неповторимыми, единственными в мире концертами, где два таких артиста выступали вместе и потрясали присутствующих своим неподражаемым исполнением. Они встречались и вне службы или серьезных занятий, и тогда удивительный юмор Шаляпина находил благодарного слушателя в лице Рахманинова, который буквально до слез мог часами смеяться над рассказами и проделками Шаляпина.
Познакомившись и подружившись с другими членами Частной оперы, Рахманинов охотно принял приглашение одной из певиц – Любатович – провести лето в ее имении на даче под Москвой. Туда же были приглашены: Шаляпин, балерина итальянка Торнаги и другие артисты и артистки. К ним часто приезжали в течение лета из Москвы Коровин и другие художники. Лето прошло быстро и весело, но осенью Рахманинов не вернулся в оперу. Его не удовлетворило дело, о котором он так мечтал. Он тяготился повторением все тех же опер, которые к тому же всегда ставились наспех; кроме того, состав хора и оркестра был довольно слабым.