В этих пунктах взгляды С.Ю. Витте почти совпадали с положениями программы П. А. Столыпина, но они содержали один существенный изъян. Качественно изменить хозяйственный и социальный строй на селе лишь этими мерами было нельзя. Предоставление некоторых юридических прав и закрепление в личную собственность, как правило, мизерного крестьянского надела — подобные шаги вряд ли могли вызвать коренные сдвиги. Крестьянину, обобранному выкупными платежами, с жалким лоскутком земли было очень трудно, а чаще всего просто невозможно вырасти в современного агрария, стать полноценным субъектом развитой рыночной экономики. Для этого ему нужна была ощутимая помощь, широкая государственная финансовая и социальная поддержка. Но сколько-нибудь внятных рекомендаций в этой области министр не предложил. Очень скоро этот пробел стал очевиден и ему. В своих мемуарах, писавшихся в годы столыпинских преобразований, экс-министр и экс-премьер пытался задним числом приписать себе заслуги, которых у него в действительности не было. Он утверждал, например, что уже в 90-е годы боролся за выделение крестьянам в личную собственность свободных земель в Сибири и за отмену выкупных платежей. Однако эта деятельность не отразилась в свидетельствах и документах той поры.
В начале XX в. положение С.Ю. Витте становится весьма шатким. Против него объединяются влиятельные придворные и правительственные силы, недовольные и самим сановником и многими аспектами его политической деятельности. Помимо возмущения курсом на ускоренную индустриальную модернизацию страны, ущемлявшим интересы крупных землевладельцев, министр финансов стал объектом критики и в связи с его неприятием внешнеполитического курса на Дальнем Востоке, того курса, который в конце концов завершился русско-японской войной. Как монархисту Витте была понятна и близка имперская экспансия России, но он всегда ратовал за экономическую экспансию, в то же время постоянно выступая против «демонстрации мускулов» перед лицом своих соседей. Министр финансов был уверен, что любой военный конфликт неизбежно приведет к нежелательным финансовым потерям и социальным потрясениям. Для программы же хозяйственного развития, тесно завязанной на иностранные займы и внешние денежные рынки, война может стать просто убийственной. Но его доводы и призывы к осторожности мало кого убеждали.
В 1902—1903 гг. антивнттевские настроения объединили весьма влиятельные фигуры. Его врагом был муж сестры царя, великий князь Александр Михайлович, министр внутренних дел В.К. Плеве, контр-адмирал, управляющий Особого комитета Дальнего Востока A.M. Абаза, наместник на Дальнем Востоке адмирал Е.И. Алексеев, председатель Комитета министров И.Н. Дурново. В обществе хорошо знали и о нелюбви к министру финансов императрицы Александры Федоровны, возмущенной и оскорбленной поведением Витте во время тяжелой болезни Николая II осенью 1900 г ., когда сановник посмел обсуждать публично последствия смерти императора и воцарения младшего брата царя Михаила Александровича.
Натиску такой сильной партии стал уступать Николай II, его поддержка министра финансов начала ослабевать. Развязка наступила в августе 1903 г ., когда С.Ю. Витте был снят с должности министра и переведен на почетный, но почти декоративный пост главы Комитета министров. Однако это не было окончательным крушением служебной карьеры. В последующие несколько лет Сергей Юльевич сумел неоднократно заявить о себе и вознестись на вершины успеха и известности. В августе 1905 г . ему удается заключить в г. Портсмуте (США) мир с Японией, который лишь незначительно ущемлял русские интересы. За эту заслугу перед Россией ему высочайше был пожалован титул графа. Осенью 1905 г . Витте становится «крестным отцом» русских политических свобод — манифеста 17 октября. С середины октября 1905 до конца апреля 1906 г . он возглавляет объединенный Совет министров.
За несколько дней до открытия 29 апреля 1906 г . сессии Первой Государственной думы С.Ю. Витте ушел с поста главы Кабинета и хотя остался членом Государственного совета, но активной политической роли уже больше не играл. Опала невероятно уязвила его честолюбие, и он решил рассчитаться со своими многочисленными врагами и недоброжелателями. Орудием его мести стали ныне широко известные «Воспоминания», наполненные самовосхвалением, и клеветническими измышлениями в адрес многих лиц, в том числе и последнего монарха.