В этом же году 18 января скончался Лев I. Наследником стал его внук, который сразу же назначил своего отца Зенона соправителем и вскоре умер. Положение Зенона было очень непрочным. Он не имел никаких наследственных прав как муж Ариадны, дочери Льва, как исаврианец он был очень непопулярным, а казна пустовала. В результате, его правление отмечено многочисленными бунтами и лишь благодаря искусной и беспринципной дипломатии ему удалось удержаться на троне в течение 17 лет. Вскоре после восшествия на престол он был вынужден бежать из Константинополя. Причиной был заговор, организованный вдовствующей Вериной, ее братом Василиском, Теодорихом Страбоном и исаврианским генералом по имени Илл. Василиск был провозглашен императором, но оставался у власти всего 18 месяцев (с января 474 по август 475 года). Он отдалил от себя Теодориха и Илла и вызвал ряд восстаний в городе, кардинально изменив решение Халкидона. Илл принял сторону Зенона и объединил с ним войска, но Теодорих Страбон продолжил восстание, и Зенон в качестве ответной меры взял к себе на службу большое количество остготов, расселенных Марцианом в Паннонии, и сделав их короля Теодориха Амальского magister praesentales. Планировалось провести большой двойной захват, в который огромная римская армия и остготы Теодориха Амальского должны были заключить Страбона, но римские войска не подоспели вовремя, а два Теодориха решили объединить силы. В конце концов Зенону удалось переманить на свою сторону Страбона, пообещав ему назначение на должность начальника солдат и обильную дань. Второй Теодорих двинулся в другую сторону и опустошил Македонию.
На западе в 475 году Непот был изгнан своим патрицием Орестом, который назначил на его место своего сына Ромула, и провозгласил его августом. Но в следующем году объединившиеся группы германцев, которые к этому времени составляли большинство в римской армии в Италии, подняли бунт. Они потребовали третью часть земель, подобно оседлым объединениям в Галлии, и когда Орест отклонил их требования, избрали своим королем Одоакра, скирского офицера, изгнали Ореста и свергли Ромула. Одоакр, как Рицимер, хотел добиться официального назначения патрицием, но без сомнения, наученный опытом последнего, решил, что прибытие императора чревато осложнениями. Поэтому он заставил сенат послать представителя к Зенону с просьбой о назначении его — Одоакра, патрицием и о предоставлении ему полномочий правителя Италии. Власти Зенона, как он считал, было достаточно для обеих частей империи. Так как Непот был еще жив и de iure (юридически) являлся императором, Зенон отклонил требования Одоакра, и нет никаких доказательств того, что он изменил свое решение позже, когда в 480 году Непот был убит, а Одоакр занял Далмацию. Одоакр так и не был назначен патрицием и продолжал править как король, которого император терпел, но не признавал.
Римская империя, таким образом, прекратила свое существование на Западе — она распалась на часть варварских королевств. Вандалы правили африканскими провинциями, Сардинией, Корсикой и Сицилией. Позже Сицилия была передана Одоакру, за что он должен был выплачивать ежегодную дань. Одоакр правил Италией, Далмацией и тем, что еще осталось от Реции и Норика. В 458 году он оставил Норик, но завладел Сицилией. В Галлии вестготы, чье правление к этому времени распространилось уже до Луары и Соны с Роной, теперь занимали территорию между Дюрансом, Альпами и морем. К северу от Дюранса бургунды владели восточной частью Соны и Роны. К северу от Луары жили независимые ареморикане и бретонцы, а на нижнем Рейне франки. Между ними находилась небольшая римская территория, которой правил Сиагрий, потомок Этея, magister militum per Gallias. В 486 году она была завоевана Хлодвигом — королем франков. В Испании вестготы после смерти Майориана установили свое правление по всей стране, за исключением северо-запада, где свевььи асконцы все еще сохраняли свою независимость.
В 479 году Марциан, зять высланной вдовствующей императрицы Верины, поднял восстание против Зенона, но вскоре потерпел поражение. В следующем году Илл, который был назначен magister militum per Orientem, объединился с Вериной. Она провозгласила императором сенатора по имени Леонтий. Чтобы подавить восстание, Зенону пришлось прибегнуть к помощи германцев Малой Азии, но при этом он благоразумно удержал Теодориха в Константинополе. Илл был разбит и оставлен исаврианцами, но Теодорих, оскорбленный таким обращением, поднял восстание и начал разорять Фракию. Однако в 488 году Зенон поручил ему выбить Одоакра из Италии, и Теодорих отправился с походом на запад. Зенон, освободившись, наконец, от мятежников и варваров, мог в течение трех лет наслаждаться миром, пока не скончался 9 апреля 491 года.