Однако честолюбивым замыслам Витте не суждено было осуществиться. Первый удар по ним нанес мировой экономический кризис, резко затормозивший развитие промышленности; сократился приток иностранных капиталов, нарушилось бюджетное равновесие. Экономическая экспансия на Дальнем и Среднем Востоке, сама по себе связанная с большими расходами, еще и обострила русско-английские противоречия и приблизила войну с Японией. С началом же военных действий ни о какой последовательной экономической программе не могло уже быть речи. Едва ли, однако, правильно было бы утверждать, что экономическую систему Витте погубили экономический кризис и русско-японская война. Ускоренная индустриализация России не могла быть успешной при сохранении традиционной системы власти и существовавших экономических отношений в деревне, и Витте скоро начал отдавать себе в этом отчет. «Когда меня назначили министром финансов, — вспоминал он, — я был знаком с крестьянским вопросом крайне поверхностно… В первые годы я блуждал и имел некоторое влечение к общине по чувству, сродному с чувством славянофилов… Но, сделавшись механиком сложной машины, именуемой финансами Российской империи, нужно было быть дураком, чтобы не понять, что машина без топлива не пойдет. Топливо это — экономическое состояние России, а так как главная часть населения — это крестьянство, то нужно было вникнуть в эту область».
Не желая «быть дураком», Витте в 1896 г., следуя настоятельным советам Бунге, отказался от поддержки общинного землевладения. В 1898 г. он сделал первую попытку добиться в Комитете министров пересмотра аграрного курса, сорванную, однако, В.К. Плеве, К.П. Победоносцевым и П.Н. Дурново. К 1899 г. при участии Витте были разработаны и приняты законы об отмене круговой поруки. Но общинное землевладение оказалось твердым орешком. В январе 1902 г. Витте возглавил Особое совещание о нуждах сельскохозяйственной промышленности, тем самым, взяв, казалось бы, к себе в Министерство финансов общую разработку крестьянского вопроса. Однако на пути Витте встал его давний противник Плеве, назначенный министром внутренних дел после убитого Д.С. Сипягина. Уже в июне 1902 г. Плеве в противовес Особому совещанию создал при своем министерстве аналогичную комиссию — еще один центр разработки аграрной политики, которая стала поприщем соперничества двух министров.
Объединенными усилиями противники Витте, при очевидном сочувствии императора, начали оттеснять министра финансов и от рычагов управления дальневосточной политикой, находившихся до того в его, почти исключительном ведении. Каковы бы ни были в совокупности причины увольнения Витте с должности министра, отставка в августе 1903 г нанесла ему удар: пост председателя Комитета министров, который он получил, был несоизмеримо менее влиятелен. Сам Витте поэтому сравнивал свое пребывание на этом посту с тюремным заключением.
Летом 1904 г., после убийства Е.С. Созоновым министра внутренних дел Плеве, к Витте вернулось деятельное состояние. Вопреки своим утверждениям, что полицейская карьера его не прельщала, он пытался занять освободившееся место, о чем свидетельствовали близко стоявшие к нему соратники. Тогда же, после убийства Плеве, Витте высказался за создание «объединенного» правительства с ним самим в качестве премьера и даже засел за изучение государственного права, чтобы постичь основы конституционного строя.
На протяжении осени 1904 г., получившей в политической истории России парадоксальное название «весна Святополк-Мирского» (по имени нового министра внутренних дел, который призывал доверять общественным силам и стремился разрядить сгущавшуюся политическую атмосферу), Витте принял в этих действиях живое и хлопотливое участие.
Он демонстративно поддерживал П. Д. Святополк — Мирского и окружал его, по свидетельству В.Н. Коковцова, «льстивыми, подчас совершенно ненужными проявлениями покровительства в заседаниях Комитета министров». Так Витте создал Мирскому репутацию своего «ставленника», а затем «все стали говорить, что фактически министром является теперь не кто другой, как тот же С. Ю. Витте».
Острые дискуссии на совещаниях у царя вызвал вопрос о привлечении в какой-либо форме к участию в законодательстве выборных от населения. Тут-то Витте и использовал двойственность своей позиции по вопросу о представительстве, чтобы, как выразилась в своем дневнике жена Святополк-Мирского, взять подготовку царского указа с программой преобразований в свои руки. На заключительном заседании царь, вслед за великим князем Владимиром Александровичем встал, было, на реформаторскую точку зрения, и виттевский проект указа с пунктом о созыве представительства как будто прошел. Но через два дня, когда царь заявил, что пункт о представительстве его смущает, Витте и великий князь Сергей Александрович, решительный противник преобразований, предложили его исключить, — и он тут же был вычеркнут царем.