Из дневников Каманина «Скрытый космос», запись от 6 января 1961 года: «Главком ВВС подписал приказ о назначении комиссии по приёму выпускных экзаменов у первых шести слушателей-космонавтов… Сдавать экзамены будут следующие товарищи: капитан В.Ф. Быковский, капитан А.Г. Николаев, капитан П.Р. Попович, ст. лейтенант Ю.А. Гагарин, ст. лейтенант Г.Г. Нелюбов, ст. лейтенант Г.С. Титов». 18 января: «Все слушатели показали отличные знания… Комиссия единогласно решила всем слушателям поставить общую отличную оценку и записала в акте: “Экзаменуемые подготовлены для полёта на космическом корабле «Восток-3А», комиссия рекомендует следующую очерёдность использования космонавтов в полётах: Гагарин, Титов, Нелюбов, Николаев, Быковский, Попович”… Все шестеро космонавтов – отличные парни. О Гагарине, Титове и Нелюбове сказать нечего – они не имеют отклонений от эталона космонавта. Николаев самый спокойный из шестёрки. Быковский менее, чем другие, внутренне собран, способен на некоторую долю развязности и может сказать лишнее. Попович пока загадка: создаёт впечатление волевого человека, но ведёт себя в раздорах с женой излишне мягко». 21 марта: «Гагарин, Титов и Нелюбов… тренировались в надевании скафандра, посадке в кабину корабля, проверке скафандра и средств связи». 3 апреля: «Сегодня в 15:00 в Президиуме ЦК КПСС должен решаться вопрос о полёте человека в космос. Главком приказал, чтобы я с космонавтами Гагариным, Титовым и Нелюбовым находился в Главном штабе ВВС и был готов, если потребуется, немедленно выехать в ЦК КПСС… Гагарин, Титов (ему сегодня вручили партбилет) и Нелюбов записали на магнитофон свои речи перед стартом в космос». 4 апреля: «Главком подписал удостоверения пилотов-космонавтов Гагарину, Титову и Нелюбову».
На рассвете 12 апреля к старту готовили троих – Гагарина, Титова, Нелюбова.
Слетал Гагарин, за ним Титов. Казалось, не сейчас – так потом. Вперёд пропустили Николаева, потом полетели Попович, Быковский, Терешкова… Кто-то говорил: фамилия «Нелюбов» якобы не понравилась Хрущёву.
А потом вмешался случай. В буфете на станции Нелюбов встретил стажёров отряда космонавтов Аникеева и Филатьева. Ударили по пиву, начали бороться на руках, сбили со стола солонку. Эта солонка и сломала нелюбовскую судьбу. Буфетчица возмутилась, рядом случился патруль; после разговора на повышенных тонах всех троих забрали в комендатуру.
Дневник Каманина, 5 апреля 1963 года: «Вчера получил… документы по факту пьянки трёх космонавтов 27 марта 1963 года на станции Чкаловская. Нелюбов, Аникеев и Филатьев уже не первый раз замечаются в выпивках. Двое последних не представляют ценности как космонавты (пьянки, слабоволие и низкие успехи в учёбе), и этот случай даёт нам законное право освободиться от них. Нелюбов входил в первую “гагаринскую” шестёрку и одно время был кандидатом на 3-й или 4-й полёт, но потом показал нелучшие результаты на центрифуге и отошёл на второй план. В данном происшествии он повинен меньше других (был в гражданской одежде и пытался уговорить товарищей пораньше уйти). Вершинин, Руденко, Рытов и Одинцов за увольнение из космонавтов всех троих. Гагарин считает, что нужно уволить только Филатьева, а Нелюбова и Аникеева следует строго наказать, но в Центре оставить. Было бы правильным уволить всех троих, хотя они и составляют 25 процентов от общего числа подготовленных к полётам космонавтов. Я за увольнение из Центра Филатьева и Аникеева и за попытку последний раз проверить Нелюбова, бывшего совсем недавно одним из лучших космонавтов первого набора».
Решением главкома ВВС Вершинина Филатьев, Аникеев и Нелюбов были отчислены. Имя Нелюбова отовсюду вымарали, как и лицо с фотографий первого космического призыва. Офицера перевели в 224-й авиаполк, дислоцировавшийся в Приморье, в селе Кремово между Уссурийском и Спасском. Как нарочно, сослали куда подальше. Даже в испытатели не взяли. А ведь он был почти на орбите, уже разгонялся до первой космической…
Гарнизон в Кремове считался образцовым. Дом, где поселился Нелюбов с женой, был благоустроенным, квартиры со всеми удобствами. Снабжение идеальное, зарплата хорошая. Нелюбов освоил МиГ-23, стал начальником парашютно-десантной службы. Бывал в Москве, где его обнадёживали: мол, ещё вернёшься в космонавты. Каманин записал 4 июля 1963 года: «…Был в госпитале у Быковского и Терешковой… Валерий и Валя просили меня пересмотреть решение об отчислении из отряда Нелюбова, Аникеева и Филатьева. По этому вопросу вся шестёрка космонавтов говорила с Вершининым. Главком передал мне их просьбу и просил подумать, что мы можем предпринять. Я честно и прямо ответил и космонавтам и Главкому: “Если Нелюбов через год получит отличную аттестацию, то я не буду возражать против его возвращения в отряд, но для Филатьева и Аникеева путь в космос закрыт”».
В космонавты Нелюбова не возвращали, и он сломался. Переживал, пил. Пик слишком быстро сменился пике. Этой перегрузки пилот не выдержал, решил, что ему ампутировали крылья. Маресьеву в своё время отняли только ноги – крылья оставили.