По мнению политолога Алексея Макаркина, СПС, будучи идеологической партией, не мог поддержать идею «либеральной империи» без риска потери своей либеральной идентичности.
Отказавшись от идеи «либеральной империи», правые позиционировали себя как антипатриоты. Этим не преминул воспользоваться Дмитрий Рогозин, активно разыгрывавший карту антилиберальной риторики, направленной против СПС. «Родина», созданная первоначально для того, чтобы отнять максимум голосов у КПРФ, сыграла роль одного из могильщиков правых на выборах 2003 года.
2004–2005 годы
На обочине
Нa выборах в Госдуму 7 декабря 2003 года по одномандатным округам прошли три члена СПС: Павел Крашенинников, Алексей Лихачев и Арсен Фадзаев. Все трое сразу после избрания вступили во фракцию «Единая Россия» (Крашенинников вышел из СПС и вступил в партию «Единая Россия» в 2005 году).
Стало очевидно, что прежние антикризисные меры не дали результата. 15 декабря 2003 года политсовет СПС рассмотрел вопрос об отставке сопредседателей и отложил его решение до съезда. Очередной съезд СПС, состоявшийся 24–25 января 2004 года, отправил в отставку Бориса Немцова, Ирину Хакамаду Егора Гайдара и Анатолия Чубайса. Правда, все бывшие сопредседатели вошли в избранный съездом новый федеральный политсовет из 25 человек. Ответственным секретарем политсовета был вновь утвержден Виктор Некрутенко, ставший номинальным лидером партии (вторым номинальным лидером был исполнительный директор партии Олег Пермяков).
Серьезные кадровые изменения произошли несколько позже, когда политсовет избрал еще четырех секретарей: Леонида Гозмана, Бориса Надеждина, Ивана Старикова и Бориса Минца. Власть в партии перешла от сопредседателей к секретарям федерального политсовета. Тогда же из политсовета вышел Егор Гайдар. Немцов и его люди, находившиеся в жесткой оппозиции к президенту и «Единой России», были оттеснены на задний план. Уже на январском съезде Чубайс перешел в наступление на группировку Немцова – под его нажимом делегаты не поддержали кандидатуру Ирины Хакамады на президентских выборах 2004 года, высказавшись за свободное голосование членов и сторонников СПС.
Ирина Хакамада, набрав на выборах 4 процента голосов, заявила о своем выходе из рядов СПС и о создании новой партии «Свободная Россия», подчеркнув, что «Свободная Россия» и СПС будут сотрудничать и взаимодействовать.
Позже, осенью 2004 года, внеочередной политсовет СПС отверг радикальный вариант резолюции, осуждавшей решение президента Путина об отмене прямых выборов глав регионов. В целом после неудачи на выборах 2003 года правые начали вновь дрейфовать в сторону «либерально-державного» курса (в частности, продолжалось обсуждение идеи «либеральной империи»). Однако определенного выбора правые так и не сделали. По словам зампреда воронежского отделения СПС Александра Болдырева,