В самом конце XIX века он стал весьма популярным в России музыкальным сочинителем. Им написано несколько заслуживших внимание публики произведений: четыре оркестровых — Концертная увертюра, Элегия памяти Чайковского, Первая симфония и Концерт для виолончели с оркестром; камерно-инструментальные — Струнный квартет, фортепианный цикл «Пастели», «Сожаление» для скрипки и фортепиано; кантата «Памяти Глинки», хоры а капелла и другие; романсы, в том числе очень популярные в России того времени «Острою секирою» и «Колыбельная» на слова М. Ю. Лермонтова.
В 1898 году Московский художественный театр открылся пьесой А. К. Толстого «Царь Фёдор Иоаннович». Музыку к спектаклю написал Гречанинов. После небывалого успеха у публики нашумевшей постановки МХТ заказал ему музыку к пьесе В. И. Немировича-Данченко «В мечтах» и к сказке А. Н. Островского «Снегурочка».
В это же время Александр Тихонович сблизился с группой композиторов, активно ищущих новые пути в церковном пении, прежде всего с А. Д. Кастальским и П. Г. Чесноковым. С 1898 по 1904 год Гречанинов написал семь духовных хоров, а также Первую и Вторую Литургии. «В исполнении хора Синодального училища эти два моих песнопения имели громадный успех», — вспоминал он в автобиографической книге «Моя жизнь», вышедшей в Нью-Йорке в 1954 году.
В 1899 году церковные произведения Гречанинова включены в программу венских гастролей Синодального хора — его имя становится известным в Европе. А в России особой популярностью пользуются его романсы на стихи Шарля Бодлера из сборника «Цветы зла» и «Драматическая поэма» на стихи Генриха Гейне. Как и большая часть «образованного общества», Гречанинов приветствовал Февральскую революцию. С революционерами он заигрывал давно. Еще в 1905 году он участвовал в сборе денег для семей погибших рабочих и написал «Похоронный марш» памяти погибшего большевика Н. Э. Баумана. «В этом [политическом] отношении я с гордостью могу сказать, что я всегда шел впереди всех; первый всегда всех будоражил, первый всегда подписывал всякие резолюции и т. д.», — писал он одному из друзей.
Лишь после захвата власти большевиками пришло отрезвление, хотя и не полное. После расстрела ими Московского Кремля он оставил следующую запись: «Москва ранена, святотатственно оскорблена ее святыня. Без боли в сердце невозможно сейчас думать о Москве. Успенский собор с зияющими отверстиями в куполе, Беклемишева башня — без головы. Сильно пострадали Никольские ворота. А ужасная картина, которую представляют из себя Никитские ворота, не подлежит описанию. <…> Одно зло родит другое, и не видно конца всем ужасам. Но если меня спросить: может быть, лучше, если бы не было мартовской революции, я отвечу: нет. Все же сдвиг должен был произойти».
Но несмотря на то, что, по его словам, «пришли холод, голод и почти полное исчезновение духовной жизни», он продолжал работать: в 1919 году написал Скрипичную сонату, немного ранее несколько Божественных литургий, а в 1920-м начал работу над Третьей симфонией, в 1923-м — над Четвертой.
Жизнь в то время была не просто скудной, а голодной. Возможность разжиться одним поленом считалась за счастье, поэтому НЭП встретили как спасение. В 1922 году оказавшиеся в Европе друзья организовали Гречанинову гастрольную поездку за рубеж, из которой он благополучно вернулся в Советскую Россию. В октябре 1924 года московские власти пышно отпраздновали его юбилей — шестидесятилетие со дня рождения. На торжествах в честь юбиляра пели церковный хор И. И. Юхова и детский хор школ Гнесиных и Беркман. Советская власть ему поверила, поэтому в следующую зарубежную гастрольную поездку отпустила. «Уезжая за границу, — вспоминает он в автобиографии, — я не знал, останусь ли я там навсегда или вернусь обратно в Россию, а потому квартиру свою с роялем, нотной и книжной библиотекой, архивом и многими ценными для меня и дорогими вещами я оставлял все, как было». На этот раз в Россию он не вернулся.
Живя в Европе, а затем в США, он продолжал заботиться о своих близких, оставшихся в России, и старался сохранить лояльность по отношению к советской власти. Жизнь в Париже тоже не была безоблачной. «Начавшаяся так блестяще в материальном отношении жизнь за границей продолжалась лишь около двух лет. С 1927 года уже зачастую испытывал нужду», — писал Гречанинов.
Существенным подспорьем стало сотрудничество с хором Жарова. За исполнение и аранжировку музыкальных произведений ему выплачивали скромные гонорары. Это позволило композитору немного улучшить своё материальное положение и, несмотря на финансовые трудности, за 15 лет жизни в Париже создать около 60 опусов различных сочинений. Среди них Пятая симфония, Скрипичный концерт, квартет № 4 и знаменитая Виолончельная соната — скорбный крик души композитора, лишенного Родины.
В 1935 году во Франции на русском языке вышел журнал «Станица» с замечательной статьей Гречанинова о регенте Донского хора Сергее Жарове.