Осенью 1957 года Освальд был направлен на военную пазу в Адуги, в Японии. Служба там проходила спокойно и вполне устраивала Освальда. Однако вскоре его подразделение должно было переправиться на другую базу, на Филиппины. Чтобы не ехать, Освальд прострелил себе руку из пистолета. Вскоре после того состоялся трибунал, который установил, что выстрел произошел случайно, но за незаконное хранение оружия присудил Освальду штраф и отправил на гауптвахту. Исполнение приговора было отложено на шесть месяцев, в течение которых неуравновешенный Освальд сумел «влипнуть» еще в одну историю. Он ввязался в драку с сержантом и оскорбил его. За это — новый трибунал и приговор: понижение в чине, штраф и 20 дней военной тюрьмы.
Прослужив еше некоторое время (и даже поучаствовав в военных действиях на Тайване в сентябре 1958 года), Освальд вернулся в Америку и вскоре был уволен из армии, на четыре месяца раньше срока. Однако дома он не засиделся. Через два дня после увольнения он выехал в Европу и 15 октября 1959 года был уже в Хельсинки. А оттуда его путь лежал в Москву. Шестнадцатого октября он ступил на советскую землю.
В Москве Освальд обратился к советским властям с просьбой предоставить советское гражданство. Однако ему отказали. И тогда Освальд режет себе вены, после чего его отвозят в больницу, а через некоторое время власти решают оставить его в СССР, правда, гражданства не дают. Тридцать первого октября Освальд явился в американское посольство в Москве и официально заявил, что отказывается от американского гражданства. А в ноябрьском письме одному из своих братьев он осуждает американский империализм и хвалит Советский Союз. Он пишет: «Америка — умирающая страна!»
Однако КГБ, от греха подальше, решает отправить непредсказуемого американца в Минск. В январе 1960 года Освальд устраивается на работу на Минский радиозавод. Там ему предоставляют однокомнатную квартиру в центре города. В марте 1961 года на танцах во Дворце культуры он знакомится с девятнадцатилетней Мариной Прусаковой, фармацевтом городской больницы. Ее судьба не менее незавидна, чем у Освальда. Дочь материодиночки, она никогда не видела своего отца. Воспитывал ее отчим. После того как в Ленинграде умерла ее мать, Марина сбежала от отчима к бабушке в Минск. Там судьба свела ее с Освальдом. Вскоре они поженились. В 1962 году у них родилась дочь, которую назвали на американский манер — Джун. Тогда же Освальд решает навсегда покинуть СССР и вернуться в Америку. В своем дневнике он делает запись: «Я начинаю пересматривать свое намерение остаться здесь. Работа скучная. Деньги, которые получаешь, некуда девать. Здесь нет ни ночных клубов, ни кегельбана. Никаких развлечений, за исключением организуемых профсоюзами танцев. С меня хватит».
В июне 1962 года семья Освальдов прилетела в Даллас. Первые несколько недель они жили в доме одного из братьев Ли, но затем сняли квартиру в Форт-Уорте. Семейная жизнь молодой четы была в Америке несладкой. Впрочем, такой же она была и в СССР. Молодые часто ссорились, даже дрались, о чем Марина писала в Ленинград своему бывшему возлюбленному Анатолию. Освальд знал о его существовании и порой ревновал свою жену к нему. Исследователи позднее отметят такой факт: Освальду казалось, что Анатолий очень похож на Джона Кеннеди, и поэтому мысль убить президента США пришла к Освальду в момент очередного приступа ревности.
Что касается взаимоотношений молодых супругов в Америке, то В. Симонов в «Литературной газете» описывал их так:
«Ли с ужасом убедился: его русская комсомолка превратилась в Далласе в копию буржуазной домохозяйки…
Еще впереди их драки, в которых частенько берет верх она. Впереди странные для взрослых наказания — Марина запирает его в ванной комнате, тушит свет. И Ли бросается. в этой кромешной тьме на колени и бьется в рыданиях. И мечтает доказать ей, любимой и ненавистной, как он на самом деле мужествен, незауряден, полноценен…»
Может быть, для того чтобы почувствовать в себе силу, Освальд в январе 1963 года купил себе по поддельным документам карабин «манлихер-каркано» с оптическим прицелом. В начале апреля 1963 года, когда его уволили с работы в фотонаборной студии, Освальд стал часто исчезать из дома, в каждом случае прихватывая с собой и карабин. Десятого апреля в Далласе неизвестный совершил покушение на местного фашиста генерала Уокера. Покушение оказалось неудачным: пуля прошла в нескольких сантиметрах от головы генерала. И хотя террориста так и не нашли, кое-кто связал это покушение с Ли Харви Освальдом.
В конце апреля 1963 года семья Освальдов переезжает в Новый Орлеан. Здесь Ли становится активным сторонником коммунистической Кубы, распространяет в городе отпечатанные за свой счет листовки. В результате местное ФБР заводит на него дело, как на коммуниста.