Единственным затруднением в начале учебы было почти абсолютное незнание русского языка. А первой книгой, прочитанной на русском, был «Робинзон Крузо», и, недолго думая, Шолом сочинил «Еврейского Робинзона Крузо». «И все пришли в восторг». Теперь никто уже не сомневался, что из мальчика вырастет настоящий писатель. Но познакомившись с сокровищами русской и еврейской литературы и окончив в 1876 г. с отличием училище, Рабинович с трудом мог найти себе занятие. Мечта поступить в учительский институт не осуществилась: царское правительство запретило прием евреев. Шолом был вынужден ради пропитания давать частные уроки, перебираясь от одного хозяина к другому, пока не познакомился с сыном богатого арендатора поместий Элимелеха Лоева, и тот уговорил отца взять его домашним учителем к сестре Ольге (Голд). Имение в Софиевке показалось обретенной родиной. Здесь же Шолом нашел и счастье всей жизни. За три года дружба между ученицей и учителем переросла в любовь. Он читал Ольге все свои «душу раздирающие романы, кричащие драмы, запутанные трагедии и комедии», написанные (но не опубликованные) на древнееврейском. Но однажды утром Шолом обнаружил, что хозяева покинули дом, а ему дали полный расчет. Замужество любимой дочери со славным, образованным, но бедным человеком не входило в планы ее отца.
Для Шолома опять началось время скитаний и унижений, пока ему не удалось, превзойдя конкурентов, занять место казенного раввина в Лубнах (Полтавская обл.). Работа царского чиновника не радовала. Приходилось вести записи актов гражданского состояния, приводить к присяге в суде лиц иудейского вероисповедания. Его единственной отдушиной стало участие в общественных делах: в течение двух с половиной лет Шолом сумел завоевать симпатии бедняков и вызвать недовольство богачей. К этому времени относится и начало его систематической работы как публициста (статьи по вопросам воспитания) и писателя. Повести «Два камня», «Выборы», «Перехваченные письма», написанные Рабиновичем не на древнееврейском, а на живом народном языке идиш, который в ту пору презрительно именовали «жаргоном», нашли признание у читателей. У начинающего автора было несколько псевдонимов: Литвак, Барон, Пипернотер, Соломон Эсбихер; но он сохранил только один – Шолом-Алейхем – «Мир вам!». И действительно, как бы горестные факты его произведений ни волновали читательское сердце, но благодаря неподражаемому оптимистическому юмору на души опускался покой и «мир».
Признание Шолом-Алейхема на литературном поприще по времени совпало и с личным счастьем. После трех лет одиночества и отчаянных безответных писем (Лоев-старший перехватывал всю корреспонденцию) он встретился с Ольгой в Киеве, и, несмотря на родительское сопротивление, 12 мая 1883 г. они поженились. «С женой он прожил тридцать лет, словно тридцать дней, – писал их зять М. Кауфман. – Их взаимная привязанность была неповторимой. Оба сохранили нежность чувств и остроту любви до последнего вздоха. Когда он отлучался из дома, он с дороги писал ей письма. Это были послания жениха к невесте. Она вела все его дела, оберегала от всех невзгод». В их счастливой «республике» родились два сына и три дочери. Первые два года, проведенные в Белой Церкви, семья испытывала значительные материальные трудности – работа писателя приносила мизерные доходы. Но в 1885 г. Ольга Михайловна после смерти отца получила большое наследство и они переехали в Киев. Шолом-Алейхем считал, что провел здесь лучшие годы своей жизни. Город питал его воображение, и его часто называли киевским писателем, чем он безмерно гордился. Первый год, проведенный в Киеве, Шолом-Алейхем практически не писал: привыкший к нищете и внезапно разбогатевший, он попытался приумножить капитал, открыл контору по продаже сахара и пшеницы, но, запутавшись в биржевых делах, в течение пяти лет не только обанкротился, но и влез в долги, которые погасила теща.
Пока у него были деньги, он начал издавать сборник «Еврейская народная библиотека». Чтобы поддержать нуждающихся писателей, Шолом-Алейхем платил неслыханно высокие гонорары. В сборниках он помещал и собственные произведения – «Стампеню», «Иоселе-соловей» (1889 г.). А свое недолгое пребывание в мире дельцов писатель отобразил в комедии «Якнегоз» и «Менахем-Мендл» («Человек воздуха»).