Мужское достоинство Освальда, судя по его дневнику, было оскорблено. Он понял, что Элла никогда серьезно не относилась к нему, а позволяла ему ухаживать за собой, чтобы вызвать зависть у подруг. Провал на личном фронте и побудил Ли окончательно сделать выбор в пользу возвращения в США. Конечно, к тому времени под влиянием Зигера и личных наблюдений Освальд открыл для себя неприятные ему стороны советской действительности (обязательные собрания, разница в материальном положении между партийными работниками и простыми рабочими, отсутствие баров и боулинга и так далее). Страшно не нравилась Ли и суровая русская зима. Появились записи в дневнике, что работа «скучная», а деньги девать некуда.
А ведь еще недавно Ли купил себе шляпу и ботинки и с гордостью сказал знакомой, что любит все русское и не хочет ничем даже внешне отличаться от советских людей. На самом деле, похоже, Освальд из-за особенностей своих детства и юности просто не мог усидеть долго на одном месте. Родного дома у него не было, и как-то раз он даже сказал, что ему все равно где жить, так как он человек одинокий.
В начале 1961 года Освальд стал уже открыто критиковать советский образ жизни. Он говорил, что не уверен в преимуществах социализма перед капитализмом. Трудно, дескать, судить объективно, так как на мнение любого человека накладывает свой отпечаток его происхождение и воспитание. В советской системе ему не нравилось то, что гражданам запрещалось свободно выезжать из страны. В Америке его возмущала расовая сегрегация.
На заводе в начале 1961 года тоже отмечали, что Освальд относится к работе спустя рукава и заинтересован только в приятном времяпрепровождении. На вопрос, нравится ли ему работа, он уклончиво отвечал, что работа как работа. В собраниях и политинформациях он не участвовал, а «на картошку» его как иностранца не посылали, жалели. Отношение коллег к Освальду испортилось: его стали называть «Лихаря» или просто «Харя». Со своей стороны Освальд обиделся на то, что его не включили в состав группы заводчан, которая поехала на экскурсию в Москву. Здесь сработал белорусский КГБ: а вдруг Освальд в Москве уйдет из-под наблюдения и установит оперативный контакт со своими американскими хозяевами?
4 января 1961 года Освальда вызвали в минский ОВИР и спросили: хочет ли он по-прежнему получить советское гражданство? Освальд позднее записал в своем дневнике, что отказался. На самом деле конфликтовать с советскими властями он пока не решался. Он сам спросил, не пришел ли уже на его имя советский паспорт, так как Освальд еще в октябре 1959 года в Москве подал прошение о приеме в советское гражданство. На вопрос хочет ли он получит постоянный вид на жительство в СССР, Освальд ответил, что сначала хотел бы прояснить вопрос со своим ходатайством по гражданству. В результате ОВИР продлил разрешение на пребывание Освальда в СССР еще на год и отправил в МВД в Москву запрос относительно советского гражданства Освальда.
Между тем белорусский КГБ направил в Москву свое мнение на сей счет. В документе подчеркивалось, что Освальд плохо работает, не является на самом деле сторонником социализма, поэтому советское гражданство ему предоставлять не следует, тем более что уже четко вырисовывается желание Освальда вернуться в США. Таким образом, в Белоруссии от Освальда хотели избавиться как можно скорей и не стали препятствовать его контактам с посольством США.
13 февраля 1961 года тот же самый Снайдер, от которого Освальд требовал лишить его американского гражданства в октябре 1959 года, получил письмо из Минска, отправленное 5 февраля. В письме Освальд заявлял о своем намерении вернуться в США, если там он не будет подвергнут судебному преследованию. Перебежчик просил вернуть его американский паспорт, так как в этом случае, по его мнению, русские дадут ему выездную визу. Освальд подчеркивал в письме, что никогда не просил дать ему советское гражданство, а советские власти в свою очередь тоже на этом не настаивали. Совпадение по времени между письмом Освальда и запросом госдепа о его судьбе было странным. Похоже, что КГБ каким-то образом узнал об интересе к Освальду в США и перестал перехватывать корреспонденцию Освальда в посольство.
Снайдер запросил госдеп, можно ли отправить Освальду паспорт по почте и какая судьба ждет перебежчика после возвращения в США. Освальду же Снайдер ответил, что тому необходимо лично явиться в посольство. Освальд в Минске тем временем продолжал свою сложную игру, представляясь разным людям в разном обличье. В марте 1961 года в Минск приехал на гастроли оркестр Мичиганского университета. После одного из концертов флейтистку оркестра Кэтрин Мэллори окружила публика, засыпавшая ее вопросами. Но Мэллори ни слова не понимала по-русски и была поражена, когда ей предложил помочь с переводом молодой парень в стильном пальто. Тот сказал, что сам из Техаса, бывший морской пехотинец, ненавидит США и намерен провести остаток жизни в Минске.