21 сентября (по новому стилю 3 октября) 1892 года у Татьяны Федоровны родился сын Сергей. Три года спустя она вернулась в дом к родителям, забрав с собой ребенка. Дед с бабкой оставили внука себе на воспитание, а свою непослушную дочь отослали в Рязань, зарабатывать деньги на пропитание себе и сыну. Получилась вроде бы сказочная ситуация: жили-были дед да баба, и был у них любимый внучек Сергунька. Или как пишет сам Есенин:
Только реальность, как водится, совсем не похожа на лубочную картинку. Екатерина Есенина рассказывает: «Мать пять лет не жила с нашим отцом, и Сергей все это время был на воспитании у дедушки и бабушки Натальи Евтеевны. Сергей, не видя матери и отца, привык считать себя сиротою, а подчас ему было обидней и больней, чем настоящему сироте. Бабушка Наталья Евтеевна часто кормила его потихоньку от снох, на всякий случай, чтобы не вызвать неприятности».
Молодые дядья бывали по-настоящему жестоки. Есенин вспоминал: «Дядья мои были ребята озорные и отчаянные. Трех с половиной лет они посадили меня на лошадь без седла и сразу пустили в галоп. Я помню, что очумел и очень крепко держался за холку. Потом меня учили плавать. Один дядя (дядя Саша) брал меня в лодку, отъезжал от берега, снимал с меня белье и, как щенка, бросал в воду. Я неумело и испуганно плескал руками, и, пока не захлебывался, он все кричал: „Эх, стерва! Ну куда ты годишься?“ „Стерва“ у него было слово ласкательное. После, лет восьми, другому дяде я часто заменял охотничью собаку, плавая по озерам за подстреленными утками».
Пяти лет от роду Есенин научился читать и вскоре начал сочинять первые стихи, подражая деревенским частушкам.
В 1898 году приехала мать, так и не сумевшая устроиться в Рязани. Сергей не узнал ее. Когда она заплакала, мальчик стал ее утешать: «Ты чего плачешь? Тебя женихи не берут? Не плачь, мы тебе найдем жениха!»
Вместе с сыном она возвращается в дом к мужу. Год спустя рождается сестра Есенина Екатерина, еще через шесть лет – вторая сестра Александра.
Мать поэта вспоминает: «Читал он очень много всего. Жалко мне его было, что он много читал, утомлялся. Я подойду погасить ему огонь, чтобы он лег, уснул, но он на это не обращал внимания. Он опять зажигал и читал. Дочитается до такой степени, что рассветет и, не спавши, он поедет учиться опять». Особенно Сережа полюбил Лермонтова: выучил наизусть поэму «Мцыри». Несчастный юноша, лишенный семьи и родительской любви, вероятно, казался ему родственной душой.
В 1904 году Есенин поступает в Константиновское земское четырехгодичное училище, в котором учится пять лет. Екатерина Есенина рассказывала о своем детстве: «Каждый день я ждала Сергея из школы: тогда мать придет в избу собирать обед, будет разговаривать с ним. И мне веселее будет. Сергей никогда не играл со мной, он всегда дразнил меня, и все-таки я любила, когда он был дома. Весной и летом Сергей пропадал целыми днями в лугах или на Оке. Он приносил домой рыбу, утиные яйца, а один раз принес целое ведро раков. Раки были черные, страшные и ползали во все стороны. Рассказывал, где и с кем он их ловил, смеялся, и мать становилась веселей».
Со временем обветшавший дедовский дом снесли, и на его месте в 1909 году построили новый. Именно этому дому посвящены стихи Есенина: