В последние годы своей жизни Октавиан стал всё больше внимания уделять проблемам упадка римской морали. Причина была не только в том, что император старел и не всё воспринимал так, как в юности, когда сам любил поухаживать за женщинами. Упадок морали действительно наблюдался, и об этом пишут практически все римские авторы. Императора же этот упадок морали раздражал ещё и потому, что разврат приводил к снижению рождаемости, а низкая рождаемость граждан подрывала военную и экономическую мощь государства. К концу I в. до н. э. римляне практически прекратили основывать новые колонии. Не хватало и новобранцев в армию. Грандиозные планы Октавиана по покорению мира срывались.
Эти настроения мужа сумела ловко использовать Ливия. В нужное время Октавиану доложили о том, что его дочь занимается развратом и позорит имя своего отца. Это случилось во 2 г. до н. э. Ливия позаботилась о том, чтобы император вышел из себя и разгневался, а гнев императора был страшен. Октавиан объявил, что расторгает брак Юлии и Тиберия, Юла Антония вынудили покончить с собой, а свою дочь Октавиан, придя в неистовство, отправил в ссылку на остров Пандатерия, причём
Это коренным образом изменило соотношение сил при императорском дворе. Хотя у Юлии остались трое сыновей и две дочери, с устранением Юлии Старшей клан Ливии стал побеждать. Сначала ей удалось уговорить мужа отстранить от дел враждебно настроенного по отношению к Тиберию наставника Гая Цезаря, Марка Лоллия. Понимая, что будет дальше, Марк Лоллий покончил с собой. Семнадцатью годами ранее, в 16 г. до н. э., он потерпел поражение от германцев и потерял целый легион вместе со знаменем легиона, но тогда Марк Лоллий и не подумал о самоубийстве. Теперь же, в I г. н. э., он это сделал. Через год, во 2 г. н. э. в Массилии внезапно умер сын Юлии Старшей, Луций Цезарь, один из наследников Октавиана. Случайность? Внезапная болезнь? Может быть… Но как бы там ни было, в том же году Тиберию разрешено было вернуться в Рим, хотя и с условием, что он не будет заниматься государственными делами.
Официальным наследником Октавиана Августа продолжал оставаться его старший внук Гай Цезарь. Скорее всего, Гай Цезарь пытался заступаться за мать: в 3 г. н. э. условия её ссылки были смягчены и ей было разрешено перебраться со всеми забытого острова в город Регий на юге Италии. Такая перемена давала надежды полагать, что ссылка вскоре будет и вовсе отменена, но в 4 г. н. э. Гай Цезарь сначала был ранен во время своего визита на Восток, а затем, хотя его рана, казалось бы, не была смертельной, умер по дороге домой в одном из небольших городов в Ликии. Случайность? Может быть… Только вот нового наставника вместо отстранённого верного Марка Лоллия подбирала Гаю Цезарю скорее всего Ливия.
После смерти двух старших внуков у Октавиана оставался ещё один внук, Агриппа Постум. Но Октавиан назначает в 4 г. н. э. сразу двух наследников — Агриппу Постума и Тиберия. Причём, поскольку Агриппе Постуму было тогда всего 14 лет, главным наследником становится именно Тиберий.
Это была победа Ливии, но победа пока ещё не окончательная и не полная. Ливия хорошо понимала, что если Агриппе Постуму удастся подрасти и показать себя достойным преемником, Тиберий вновь может отправиться в ссылку. К тому же Агриппа Постум, видимо, добивался возвращения из ссылки своей матери, а возвращение в Рим Юлии Старшей также было весьма опасно для Ливии и Тиберия. О возвращении матери мечтали, наверное, и две её дочери, внучки Октавиана. Совместными усилиями они могли уговорить деда одуматься.
Чтобы не допустить этого, Ливия выдала одну из дочерей Юлии Старшей, Агриппину Старшую, за своего внука, Германика, сына погибшего Друза Старшего. Для того же, чтобы устранить Агриппу Постума и его сестру, Юлию Младшую, был применён тот же способ, что и для устранения их матери — ложные обвинения и дискредитация.
Первой жертвой оговоров пал муж Юлии Младшей, Эмилий Павел. В 6 г. н. э. он был обвинён в подготовке переворота и то ли казнён, то ли вынужден был покончить с собой.