А Маргарита, не прожив с новым мужем и года, уже снова оказалась на грани развода. Памятуя свою нелегкую жизнь, она требовала у мужа, чтобы они распоряжались деньгами совместно. Тот отказывался. Ли тяжело переживал ссоры родитилей и очень радовался, когда они мирились. Но Маргарита стала подозревать мужа еще и в неверности, а этого она, считавшая себя умной и эффектной женщиной, не простила бы никому.
Летом 1946 года, забрав старших сыновей из военной школы, Маргарита переехала в город Ковингтон, штат Луизиана. На соседей неполная семья производила впечатление счастливой. Ли не любил играть со сверстниками и предпочитал одиночество. Собственно, до этого при частых переездах у него никогда и не было времени научиться дружить. В то же время своих братьев он очень любил, стремился им во всем подражать и старался проводить с ними как можно больше времени. Однако те были гораздо старше и у них были свои, еще непонятные маленькому Ли интересы. К тому же старших сыновей Маргарита опять отдала в школу-интернат. А вот Ли учился в обычной школе и успевал хорошо: у него были одни «пятерки» и «четверки». Однако первый класс он закончить не успел, так как в январе 1947 года его родители помирились и опять переехали в Техас, в город Форт-Уорт, неподалеку от Далласа (сейчас эти два города фактически слились в единый мегаполис).
Там Ли закончил первый класс, причем оценки уже были похуже: в основном одни «четверки», только по физкультуре мальчик получил «отлично». Второй класс он толком не успел и начать, так как родители снова поссорились.
«Добрые» соседи сообщили Маргарите Экдал, что ее супруг жил с другой женщиной, пока она была в Луизиане. Подсказали и адрес. Дальше события развивались как в анекдоте. Однажды, когда муж по идее должен был находиться в командировке за пределами города, Маргарита вместе со старшим сыном Джоном и его друзьями пришла к дому своей соперницы. Один из мальчиков представился почтальоном, и им открыли дверь. Ворвавшись в дом, Маргарита обнаружила своего мужа (правда, одетого, хотя и в рубашке с закатанными рукавами) и даму в пеньюаре.
Однако, как ни странно, Маргарита продолжала жить с Экдал ом до января 1948 года, когда она наконец выставила его из дома, попросив больше не возвращаться. Экдал, похоже, и не горел желанием, так как сам подал на развод в марте того же года. Причем инженер сам пошел в наступление, обвинив Маргариту в стремлении присвоить его деньги, а также в том, что постоянные скандалы с ее стороны (в ходе которых она якобы швыряла в него разными предметами) окончательно подорвали его и без того не блестящее здоровье. Ли вызвали в качестве свидетеля в суд, но потом все же решили освободить мальчика от показаний ввиду его слишком юного возраста. В конце концов суд полностью встал на сторону истца, и Маргарите (опять принявшей фамилию Освальд) пришлось довольствоваться мировым соглашением со своим бывшим мужем. По нему она получила 1500 долларов, часть из которых ушла на уплату судебных издержек. Таким образом, в 41 год Маргарита снова оказалась в одиночестве и без всяких осязаемых перспектив в жизни. (Экдал умер вскоре после развода — остановилось больное сердце.)
Миссис Освальд пришлось снова сменить жилье и переехать в более «пролетарский» район. Правда, теперь Маргарите было легче, так как старшие сыновья продолжали учиться в военной школе. Перейдя в очередную школу, Ли наконец-то закончил второй класс. Несмотря на невыносимую атмосферу в семье, он продолжал быть «хорошистом». Учителям он запомнился спокойным ребенком, не доставлявшим им заметных проблем. Будучи физически развитым, Ли являлся лидером нескольких обычных для школы группировок. Однако он не был выскочкой и не пытался силой подчинить себе сверстников. Похоже, что уже тогда одноклассники были ему просто неинтересны и он не пытался заводить постоянных друзей. Привыкнув к одиночеству, Ли начинает много читать.
Между тем братья окончили военную школу, и семья Освальдов воссоединилась снова. Жили в довольно стесненных условиях, и Ли приходилось спать в одной кровати с матерью. Потом из этого факта настроили много замысловатых конструкций с сексуальным подтекстом. На самом деле виновата была все та же бедность. Как только один из старших братьев пошел в армию, Ли тут же занял его постель.
Маргарита постоянно работала, в основном продавцом-консультантом в различных магазинах. Дети оставались целый день одни. Ли такое положение явно нравилось, ведь он был сам себе хозяин. С тех пор у мальчика выработалось стойкое отвращение к дисциплине, стремление поступать как заблагорассудится. Один из соседей вспоминал потом, что как-то видел Ли гонявшимся с ножом за Джоном. Причем Ли якобы даже бросил нож в брата. Правда, все показания такого рода давались сразу же после покушения на Кеннеди, когда многие свидетели пытались найти в Ли Харви Освальде какую-то особую склонность к насилию с раннего детства.