Свой первый рассказ «У мельницы» Шмелев написал еще в гимназические годы. Под впечатлением свадебного путешествия (он женился на Ольге Охтерлони) на Валаам Шмелев написал очерки «На скалах Валаама». Обер-прокурор Святейшего синода Победоносцев усмотрел в них крамолу, однако книга все же вышла в свет, изрядно исковерканная цензурой, в 1897 году. Это отбило охоту у Шмелева заниматься сочинительством. Он заканчивает Московский университет и в течение 8-ми лет служит чиновников во Владимирской казенной палате. Годы эти обогатили его знанием уездной России. «Я знал столицу, мелкий ремесленный люд, уклад купеческой жизни, — отмечал Шмелев. — Теперь я узнал деревню, провинциальное чиновничество, фабричные районы, мелкопоместное дворянство».
Однако чиновника из Шмелева не вышло, по его признанию, он оказался «мертв для службы», выходит в 1907 году в отставку и отправляется в свободное литературное плаванье. Пишет серию рассказов — «Вахмистр», «Распад», «Гражданин Уклейкин», «Полочка» и другие. Получает дружескую поддержку Горького и Короленко. В 1910 году входит в товарищество «Знание», а в 1912-м становится членом-вкладчиком Книгоиздательства писателей в Москве, в котором выходит первое его «Собрание сочинений» в 8-ми томах (1912–1914). Общероссийскую известность Шмелеву принесла повесть «Человек из ресторана» (1911) о «маленьком человеке» — официанте Скороходове. Эту повесть критики сравнивали с дебютом Достоевского. Ремизов отметил, что Шмелев встал в ряд русских писателей «совести и протеста», наряду с Горьким, Леонидом Андреевым и Куприным. Корней Чуковский отметил: «Шмелев написал совершенно по-старинному, прекрасную волнующую повесть, т. е. такую прекрасную, что ночь просидишь над нею, намучаешься и настрадаешься, и покажется тебе, что тебя кто-то за что-то простил, приласкал или ты кого-то простил».
Особый шмелевский стиль, особое отношение к народу. Своего сына Сергея писатель наставлял: «Думаю, что много хорошего и даже чудесного сумеешь увидеть в русском человеке и полюбить его, видавшего так мало счастливой доли. Закрой глаза на его отрицательное (в ком его нет?), сумей извинить его, зная историю и теснины жизни. Сумей оценить положительное».
Абстрактно — все правильно. А конкретно?.. В 1920 году единственный сын писателя Шмелева, офицер Добровольческой армии Сергей Шмелев, не пожелавший уехать с врангелевцами на чужбину, был насильно изъят из лазарета и без суда расстрелян. В отчаянном письме к Максиму Горькому Шмелев писал: «Мой мальчик не активник. Он был мобилизован, он больше года больной… И все же его взяли и… кончили». И вопль: «Руки буду целовать, руки, которые вернут мне сына!»
Ивана Шмелева горе если не сломало, то надорвало основательно. Уже в эмиграции писатель написал книгу «Солнце мертвых», о зловещих событиях в Крыму, которую многие прочитали в Европе и ужаснулись. Это — «кошмар, окутанный в поэтический блеск, документ эпохи» — так определил книгу Томас Манн. «Теперь я понимаю, через какие ужасы прошла ваша страна, — писал Шмелеву Редьярд Киплинг. — Произведение страшное в своей правдивости».
«Солнце мертвых» в СССР было строжайше запрещено: большевики не хотели помнить пролитую ими в Крыму большую кровь.
Смерть сына напрочь отвратила Ивана Шмелева от новой власти, и 20 ноября 1922 года писатель с женой выехали из Москвы в Берлин, а далее перебрались в Париж. «Думаете, весело я живу? — писал Шмелев 19 сентября 1923 года Куприну из Граса, где его временно приютил Бунин. — Я не могу теперь весело! И пишу я — разве уж так весело? На миг забудешься… Сейчас какой-то мистраль дует, и во мне дрожь внутри, и тоска, тоска… Доживаем свои дни в стране роскошной, чужой. Все — чужие. Души-то родной нет, а вежливости много… Все у меня плохо, на душе-то».
В том же 1923 году Вера Бунина сделала такую дневниковую запись о Шмелеве: «В нем как бы два человека: один — трибун, провинциальный актер, а другой — трогательный человек, любящий все прекрасное, доброе, справедливое».
В Париже Шмелев жил на улице Шевер, 12, напротив Дома инвалидов. Побывавший у него в гостях Томас Манн отметил небольшую квартирку, дышащую убогостью и скупостью. Однако бедно, но не худо. Ив Жайтийом, фактически приемный сын Шмелевых, вспоминал, что во Франции Шмелевы жили так, словно никогда не уезжали из России. Ольга Александровна готовила русские блюда — пирожки с вязигой, рыбой, мясом, капустой, щи, гречневую и манную каши, куриный бульон. По воскресеньям к Шмелевым приходили гости — Куприн, другие русские писатели, генерал Антон Деникин с женой и дочкой Мариной… Летом Шмелевы жили в деревне, где писатель возился в огороде, сажал цветы и разводил подсолнухи, каждому из которых давал имена знакомых писателей: «Андрей Белый», «Саша Черный» и т. д.