Как сообщает Пудалов, дальние родственники вспоминали, «что уже в 30-е годы, будучи в Москве, иногда заходили к Ягоде в гости; он встречал приветливо, но в общении бывал неровен: однажды на довольно безобидную просьбу помочь с железнодорожным билетом не просто отказал, а вспылил, раскричался, крепко обидел». И делает следующий вывод о причинах падения Ягоды: «По-моему, тяжелый, неуравновешенный характер его и погубил: не умел вести «придворную» интригу, управлять своими эмоциями».
Но дело было не в характере, а в принадлежности Генриха Григорьевича к плеяде «старых большевиков» и его близости к группе Бухарина.
Когда в 1929 году стало известно о встрече Бухарина с бывшими лидерами оппозиции — Каменевым и Сокольниковым, руководство ОГПУ в лице Менжинского, Ягоды и Трилиссера вынуждено было 6 февраля 1929 года обратиться к Сталину со специальным заявлением, копия которого была направлена председателю ЦКК С. Орджоникидзе: «В контрреволюционной троцкистской листовке, содержавшей запись июльских разговоров т. Бухарина с т. т. Каменевым и Сокольниковым о смене Политбюро, о ревизии партийной линии и пр., имеются два места, посвященные ОГПУ: 1. На вопрос т. Каменева: каковы же наши силы? Бухарин, перечисляя их, якобы сказал: «Ягода и Трилиссер с нами» и далее 2. «Не говори со мной по телефону — подслушивают. За мной ходит ГПУ, и у тебя стоит ГПУ».
Оба эти утверждения, которые взаимно исключают друг друга, вздорная клевета или на т. Бухарина, или на нас, независимо от того, говорил или нет что-нибудь подобное т. Бухарин, считаем необходимым эту клевету категорически опровергнуть перед лицом партии.
Просим приложить наше заявление к протоколу объединенного заседания Политбюро и Президиума ЦКК, разослав участникам данного заседания».
Руководители ОГПУ допускали, что Бухарин мог сказать Каменеву что-то о поддержке «правых» Ягодой и Трилиссером. Поэтому разумно предположить, что определенная близость к группировке Бухарина у обоих чекистов была. Другое дело, что Николай Иванович наверняка преувеличил степень этой близости. Частые контакты Генриха Григорьевича по службе с председателем Совнаркома Рыковым и главой Московского городского комитета партии Углановым (Ягода состоял членом бюро МГК), а также дружеские попойки с ними во внеслужебное время еще не означали, что фактический руководитель ОГПУ готов поддержать правых в их попытке сместить Сталина. В любом случае заявление от 6 февраля 1929 года знаменовало собой окончательный разрыв с бухаринцами и переход к безоговорочной поддержке Сталина. Теперь песенка Бухарина была окончательно спета. Но Сталин связи Ягоды с оппозиционерами не забыл…
1 декабря 1934 года произошло событие, предопределившее дальнейшее падение Ягоды. В Смольном выстрелом в затылок был убит глава ленинградских коммунистов и один из ближайших друзей Сталина Сергей Миронович Киров. Его убийца, Леонид Васильевич Николаев, рабочий и член партии, ни в каких оппозициях сроду не участвовавший, мстил за несправедливое, как он считал, увольнение с непыльного места работы — из Ленинградского института истории партии. Сперва он думал лишить жизни директора института — непосредственного виновника увольнения, а затем остановил свой выбор на Кирове, оставившем без ответа его апелляции. Все многочисленные версии заговоров с целью ликвидации «Мироныча» опровергаются одним твердо установленным фактом. В тот роковой день Киров в Смольный не собирался, и их встреча с Николаевым оказалась чистой случайностью. О мотиве же, двигавшем преступником, исчерпывающе рассказал Генрих Самойлович Люшков. В качестве заместителя начальника секретно-политического отдела НКВД он расследовал покушение в Смольном, а потом благополучно бежал в Японию. В Токио Люшков заявил: «Перед всем миром я могу удостоверить с полной ответственностью, что все эти мнимые заговоры никогда не существовали и все они были преднамеренно сфабрикованы. Николаев, безусловно, не принадлежал к группе Зиновьева. Он был ненормальный человек, страдавший манией величия. Он решил погибнуть, чтобы стать историческим героем. Это явствует из его дневника». Люшков также опровергает мнение, что авария, в которой погиб охранник Кирова Борисов, была подстроена по приказу Сталина. С того момента, как последний распорядился срочно доставить Борисова в Смольный на допрос, до его гибели прошло всего лишь полчаса. Этого времени для организации покушения, со знанием дела утверждал Генрих Самойлович, абсолютно недостаточно.