Среди интеллигенции Зиновьев получил презрительную кличку «Гришка Третий» (намек на Отрепьева или Распутина?). Так, по постановлению Петросовета в 1921 году были расстреляны участники «заговора Таганцева», в том числе поэт Николай Гумилёв. В 1921–1926 годах, как член Политбюро, он выступал с отчётными докладами на XII и XIII съездах РКП(б). Пропагандировал ленинское наследие и печатал огромное количество книг со своими статьями и начал даже издание собрания своих сочинений.
Однако именно Зиновьев сыграл важную роль в возвышении Сталина. В 1922 году Каменев по его настоянию официально выступил с предложением назначить Сталина на пост Генерального секретаря ЦК РКП(б). На XII съезде партии в 1923 году Зиновьев выступал с политическим отчётом ЦК и вместе с Каменевым и Сталиным вёл решительную борьбу против Троцкого.
Но в декабре 1925 года, на XIV съезде ВКП(б), Зиновьев, поддержанный Каменевым и ленинградской делегацией, от имени «новой оппозиции» выступил против группы Сталина, Молотова, Рыкова, Бухарин и партийного большинства. В 1926 году его отстранили от руководства Ленсоветом и Коминтерном и вывели из Политбюро.
Поводом послужило его объединение с Троцким. В 1927 году Зиновьева вывели и из состава ЦК, в котором он был с 1907 года, исключили из партии и из Общества старых большевиков и выслали. Когда Каменев и Зиновьев начали критиковать политику Сталина, он убедил всех, что они создают разобщенность в партии, и решил убрать их из ЦК.
Разделение партии на две фракции могло привести к окончательному расколу, который западные страны могли воспользоваться и вторгнуться на территорию СССР. Под давлением ЦК Зиновьев и Каменев согласились подписать заявления с обещанием не создавать конфликта и не выступать с речами, критикующими официальную политику партии.
Троцкий отказался подписать это заявление и был выслан в отдаленный район Казахстана, а затем и за границу. Сторонники Зиновьева понесли наказания по партийной и служебной линиям. В 1928 году, после покаяния, Зиновьев был восстановлен в партии и назначен ректором Казанского университета, где занимался литературно-публицистической деятельностью.
В октябре 1932 года вновь был исключен из партии и арестован. Особым совещанием при ОГПУ осуждён на четыре года ссылки и выслан в Кустанай, где перевёл книгу Гитлера «Майн кампф». В 1933 году по решению Политбюро он был снова восстановлен в партии и направлен на работу в Центросоюз.
В феврале 1934 года, на XVII съезд партии, выступил с покаянием и прославлением Сталина и его соратников. Потом занимался литературной деятельностью, написал книгу «Карл Либкнехт» в серии ЖЗЛ и был членом редколлегии журнала «Большевик». 16 декабря 1934 года Зиновьев арестован, исключён из партии и осуждён на десять лет тюрьмы по делу «Московского центра».
В 1935 году содержался в Верхнеуральском политизоляторе, откуда обращался к Сталину: «В моей душе горит желание доказать Вам, что я больше не враг. Нет того требования, которого я не исполнил бы, чтобы доказать это… Я дохожу до того, что подолгу пристально гляжу на Вас и других членов Политбюро портреты в газетах с мыслью: родные, загляните же в мою душу, неужели Вы не видите, что я не враг Ваш больше, что я Ваш душой и телом, что я понял всё, что я готов сделать всё, чтобы заслужить прощение, снисхождение…»
Однако 24 августа 1936 года Зиновьев был приговорён к исключительной мере наказания по делу Антисоветского объединённого троцкистско-зиновьевского центра. Его расстреляли ночью 26 августа в Москве, в здании ВКВС. Перед казнью он униженно молил о пощаде, даже выкрикнул, что всё это «фашистский заговор», и умолял позвонить Сталину, который обещал сохранить ему жизнь…
По некоторым данным, он даже целовал сапоги своим палачам, на что Каменев посоветовал ему: «Перестаньте, Григорий, умрём достойно!» На его расстреле присутствовали глава НКВД Ягода, его заместитель Ежов и начальник охраны Сталина Паукер, которые в течение трех лет также были расстреляны.
Пули, которыми были убиты Зиновьев и Каменев, забрал Ягода. Они были изъяты при обыске во время его ареста и попали в дом Ежова, откуда были изъяты при аресте самого Ежова. Ежов был реабилитирован пленумом Верховного Суда СССР 13 июля 1988 года.
Троцкий, проживший после расстрела Зиновьева два года, писал о нём: «В агитационном вихре того периода большое место занимал Зиновьев, оратор исключительной силы. Его высокий теноровый голос в первый момент удивлял, а затем подкупал своеобразной музыкальностью. Зиновьев был прирождённый агитатор…
Противники называли Зиновьева наибольшим демагогом среди большевиков… На собраниях партии он умел убеждать, завоёвывать, завораживать, когда являлся с готовой политической идеей, проверенной на массовых митингах и как бы насыщенной надеждами и ненавистью рабочих и солдат.