Беззаботная жизнь вскоре миновала. Отец практически разорился и вновь вернулся в Переяслав, где содержал заезжий двор. Шолому исполнилось тринадцать, когда эпидемия холеры унесла мать. Мачеха была ужасно сварливой, ее ругательства «вертелись, вились, лились, как масло». Мальчика, который во всем помогал отцу, спасала только природная веселость. И первым его произведением стал словарь проклятий, расточаемых мачехой. После этого не наказанный за это проказник, нещадно расходуя керосин, ночи напролет писал свое новое произведение «Дщерь Сионова», рабски подражая «Сионской любви» A. Мапу. С этим романом сына Рабинович отправился к уважаемому в городе нотариусу Арнольду, и тот порекомендовал «писанину» выбросить, а мальчика, чтобы был толк, отдать в Переяславское уездное русское училище (1873 г.).
Единственным затруднением в начале учебы было почти абсолютное незнание русского языка. А первой книгой, прочитанной на русском, был «Робинзон Крузо», и, недолго думая, Шолом сочинил «Еврейского Робинзона Крузо». «И все пришли в восторг». Теперь никто уже не сомневался, что из мальчика вырастет настоящий писатель. Но познакомившись с сокровищами русской и еврейской литературы и окончив в 1876 году с отличием училище, Рабинович с трудом мог найти себе занятие. Мечта поступить в учительский институт не осуществилась: царское правительство запретило прием евреев. Шолом был вынужден ради пропитания давать частные уроки, перебираясь от одного хозяина к другому, пока не познакомился с сыном богатого арендатора поместий Элимелеха Лоева, и тот уговорил отца взять его домашним учителем к сестре Ольге (Голд). Имение в Софиевке показалось обретенной родиной. Здесь же Шолом нашел и счастье всей жизни. За три года дружба между ученицей и учителем переросла в любовь. Он читал Ольге все свои «душу раздирающие романы, кричащие драмы, запутанные трагедии и комедии», написанные (но не опубликованные) на древнееврейском. Но однажды утром Шолом обнаружил, что хозяева покинули дом, а ему дали полный расчет. Замужество любимой дочери со славным, образованным, но бедным человеком не входило в планы ее отца.
Для Шолома опять началось время скитаний и унижений, пока ему не удалось, превзойдя конкурентов, занять место казенного раввина в Лубнах (Полтавская обл.). Работа царского чиновника не радовала. Приходилось вести записи актов гражданского состояния, приводить к присяге в суде лиц иудейского вероисповедания. Его единственной отдушиной стало участие в общественных делах: в течение двух с половиной лет Шолом сумел завоевать симпатии бедняков и вызвать недовольство богачей. К этому времени относится и начало его систематической работы как публициста (статьи по вопросам воспитания) и писателя. Повести «Два камня», «Выборы», «Перехваченные письма», написанные Рабиновичем не на древнееврейском, а на живом народном языке идиш, который в ту пору презрительно именовали «жаргоном», нашли признание у читателей. У начинающего автора было несколько псевдонимов: Литвак, Барон, Пипернотер, Соломон Эсбихер; но он сохранил только один – Шолом-Алейхем – «Мир вам!». И действительно, как бы горестные факты его произведений ни волновали читательское сердце, но благодаря неподражаемому оптимистическому юмору на души опускался покой и «мир».
Признание Шолом-Алейхема на литературном поприще по времени совпало и с личным счастьем. После трех лет одиночества и отчаянных безответных писем (Лоев-старший перехватывал всю корреспонденцию) он встретился с Ольгой в Киеве, и, несмотря на родительское сопротивление, 12 мая 1883 года они поженились. «С женой он прожил тридцать лет, словно тридцать дней, – писал их зять М. Кауфман. – Их взаимная привязанность была неповторимой. Оба сохранили нежность чувств и остроту любви до последнего вздоха. Когда он отлучался из дома, он с дороги писал ей письма. Это были послания жениха к невесте. Она вела все его дела, оберегала от всех невзгод». В их счастливой «республике» родились два сына и три дочери. Первые два года, проведенные в Белой Церкви, семья испытывала значительные материальные трудности – работа писателя приносила мизерные доходы. Но в 1885 году Ольга Михайловна после смерти отца получила большое наследство, и они переехали в Киев. Шолом-Алейхем считал, что провел здесь лучшие годы своей жизни. Город питал его воображение, и его часто называли киевским писателем, чем он безмерно гордился. Первый год, проведенный в Киеве, Шолом-Алейхем практически не писал: привыкший к нищете и внезапно разбогатевший, он попытался приумножить капитал, открыл контору по продаже сахара и пшеницы, но, запутавшись в биржевых делах, в течение пяти лет не только обанкротился, но и влез в долги, которые погасила теща.