Первым его произведением был роман из жизни персидских армян под названием «Салби». В 1858 году он стал печатать свои стихотворения в журнале «Арцив Васпуракани» («Орел Васпуракана»), издававшемся в Варагском монастыре близ г. Вана известным политическим деятелем и писателем, впоследствии католикосом всех армян Мкртичем Хримяном. Затем Раффи устанавливает связь с журналом «Юсисапайл» — «Северное сияние», — издававшимся с 1858 года в Москве (на армянском языке) профессором Лазаревского института восточных языков С. Назарянцем, и вскоре становится сотрудником этого журнала. В журнале этом принимали участие передовые деятели армянской литературы 60-х-годов — М. Налбандян, Р. Паткапян и многие другие. В 1860 году Раффи помещает в «Юсисапайле» большую статью под названием «Ахтамарский монастырь» на тему о национальном просвещении.
Живя в Персии, Раффи внимательно изучает жизнь различных кругов населения. Изучение это дало ему обильный материал для повестей, рассказов и очерков из персидской жизни.
В 1870 году Раффи переселяется в Тифлис; его влечет туда культурная обстановка. События 60-х годов общественно-политической жизни России нашли отклик в среде новой армянской интеллигенции, значительная часть которой проживала в Тифлисе. Революционно-демократические идеи русских шестидесятников, Чернышевского и Добролюбова проникли в среду молодой армянской интеллигенции. В роли связующего звена между русскими революционными демократами и передовой армянской интеллигенцией был Микаэл Налбандян, друг Герцена и Огарева, сидевший одновременно с Чернышевским в Петропавловской крепости. М. Налбандян, великий просветитель и демократ, был идеологом армянской революционно-демократической интеллигенции. Характерно, что Раффи, закончивший в 1857 году свой трехтомный роман «Салби», посвятил его М. Налбандяну. В посвящении сказано: «Всегда благословенной памяти бессмертного Микаэла Налбандяна с глубоким почитанием».
Жизнь Раффи в Тифлисе была нелегкой; он еле перебивался уроками и даже служил в магазине готового платья. В 1872 году в Тифлисе начинает издаваться газета «Мшак» («Труженик»), Раффи был приглашен сотрудничать в газете и очень скоро сделался активным участником этого издания. Очерки Раффи о Персии, разного рода критические и публицистические статьи, повести и рассказы и, наконец, романы вскоре создали ему популярность и содействовали успеху газеты среди читателей.
С самого начала своей литературной деятельности Раффи живо интересовался вопросами политического положения армян. Последователь армянских просветителей-шестидесятников, Раффи был поглощен вопросом о судьбе армянского крестьянина. В романе «Хент» он изобразил борьбу армянского народа за освобождение от султанского ига. Руководителями в этой борьбе выступают представители интеллигенции. В будущей Армении, как рисуется одному из героев этого романа, установится коллективная сельская община. Однако общество остается классовым.
После «Хента» он пишет два больших романа — «Воспоминания хачагоха» (хачагох — крестокрад) и «Искры». Герои романа «Искры» стремятся всеми способами — и пером, и оружием — покончить с вековым гнетом армянского народа. Романы «Хент» и «Искры» произвели огромное впечатление на передовую часть армянской интеллигенции. Начали издаваться книги об экономической и культурно-бытовой жизни зарубежных армян. Студенческая молодежь создавала кружки, ставившие целью просветительскую работу среди крестьян.
После берлинского конгресса 1878 года, на котором обсуждался вопрос о положении армян в Турции, прогрессивная армянская общественность переживала разочарование. Потеряв всякую веру с европейскую дипломатию, Раффи все свои надежды возложил на Россию. Писатель обращается к прошлому Армении и создает в течение 80-х годов три исторических романа: «Паруйр Айказн», «Давид-Бек» и «Самвел», а также историческое исследование «Карабахские меликства».
В 80-х годах Раффи уже был признанным классиком. Его популярность как писателя была исключительна. Реакционные элементы постоянно вели против него борьбу. В 1884 году ночью на Раффи было произведено покушение. Через несколько дней в его квартире полиция произвела обыск.
Крупнейший армянский романист А. Ширванзаде в своих воспоминаниях характеризует Раффи как, человека исключительно скромного и поразительно трудоспособного. «Он знал, — пишет А. Ширванзаде, — что талант на три четверги является трудолюбием. Он был подлинным творцом, его мятежная душа находила успокоение лишь в труде».
Усталый от напряженного труда, постоянных материальных лишений, остро переживая участь родного парода, Раффи тяжело заболел весною 1888 года и умер 6 мая, оставив большое литературное наследство, часть которого не опубликована еще до сих пор.
Последнее произведение Раффи, роман «Самвел», как показывают все данные, было предметом особо напряженной работы писателя.