Результат этих интриг не замедлил сказаться. Как сообщает Корнелий Тацит, в 24 году «понтифики, а по их примеру и остальные жрецы, вознося молитвы о благополучии принцепса и давая обеты, препоручили попечению тех же богов Нерона и Друза, не столько из любви к этим молодым людям, сколько из лести. Но при порче нравов как отсутствие, так и чрезмерность ее в равной степени опасны. Тиберий, никогда не питавший расположения к семейству Германика, глубоко уязвленный тем, что его, старика, поставили в один ряд с молодыми людьми, вызвал к себе понтификов и спросил их, уступили ли они просьбам Агриппины или ее угрозам. Они отрицали то и другое, но принцепс их побранил, впрочем мягко; ведь значительную их часть составляли его родственники, а другие были виднейшими гражданами государства. Тем не менее он выступил с речью в сенате, в которой предупредил, чтобы впредь никто возданием почестей не распалял честолюбия в восприимчивых душах юношей».
Это показало, что отношения императора и его приемных внуков далеко не так теплы, как некоторым казалось. Тем не менее еще около пяти лет Нерон Цезарь (как и его брат Друз Цезарь) считались наследниками Тиберия и пребывали в почете. Сведений о том периоде времени сохранилось чрезвычайно мало, однако известно, что сыновья Германика избирались на почетные должности в магистратурах ряда городов, а главное, в их честь чеканились монеты, что говорит о признании их статуса наследников самим Тиберием.
Но отношения между семейством Германика и Тиберием
Нерон Цезарь и Друз Цезарь были не только сыновья-ми Агриппины, но и правнуками Ливии (Юлии Августы), матери Тиберия, которая, конечно же, опекала их. Неприязнь между Тиберием и Агриппиной, как уже говорилось выше, не отражалась на карьере ее сыновей. В 26 году, за пять лет до положенного срока, Нерон Цезарь стал квестором. Он был избран жрецом коллегии августалов — жрецов, ответственных за отправление культа божественного Августа, и членом чрезвычайно почетной и уважаемой коллегии арвальских братьев, жрецов, в число обязанностей которых входило официальное объявление войны, а также членом ряда других почетных коллегий.
Но, несмотря на все это, окружение Нерона Цезаря, то ли по наущению Сеяна, то ли желая угодить Агриппине и считая, что дни Тиберия сочтены, всячески подталкивало Нерона Цезаря к действиям, которые ухудшали его отношения с Тиберием. Как пишет Корнелий Тацит, «хотя Нерон держался с подобающей юноше скромностью, однако нередко случалось, что он забывал, как нужно себя вести при сложившихся обстоятельствах, ибо его клиенты и вольноотпущенники, стремясь поскорее добиться влияния, всячески внушали ему, что он должен выказывать смелость и независимость: этого хочет римский народ, хочет войско, и Сеян, одинаково издевающийся над терпением старика и робостью юноши, не посмеет воспрепятствовать ему в этом. Несмотря на эти и им подобные речи, Нерон не питал никаких преступных намерений, но иногда у него вырывались слишком дерзкие и необдуманные слова, которые подхватывались приставленными к нему соглядатаями и преувеличивались в их донесениях, тогда как он не имел возможности оправдаться». Со временем Нерон Цезарь попал в опалу, что к 28 году стало ясно уже всем. «Одни старались уклониться от встречи с ним, другие, поздоровавшись, сейчас же отворачивались, многие торопились прервать начатый разговор и покинуть его, тогда как приверженцы Сеяна, напротив, следовали за ним по пятам и оскорбительно подшучивали над ним. Да и Тиберий принимал его, то угрюмо насупившись, то с деланной улыбкою на лице; но говорил ли юноша или молчал, ему вменялось в вину и его безмолвие, и его слова».
Нерон Цезарь нигде не мог найти поддержки. Родной брат Друз Цезарь враждовал с ним, подстрекаемый Сеяном. Брак Нерона Цезаря оказался неудачным: детей у него с женой не было, и отношения супругов становились все более неприязненными. «Даже ночь подстерегала его своими опасностями: о его сне и бодрствовании, о каждом вздохе жена сообщала своей матери Ливии (Ливии Ливилле), а та Сеяну».
В 28 году Тиберий отправил Агриппину Старшую и Нерона Цезаря из Рима в Геркуланум.