Сеян напуснал с ироничен поклон, Ливила го последвала. Този шамар реши съдбата на Кастор. Описанието на случилото се, за което Тиберий научи от Сеян, който се явил пред него все още със следата от Касторовия шамар на лицето си, бе, че Кастор бил пиян, когато Сеян го поздравил за трибунството, и го плеснал през лицето с думите: „Да, чудесно е да знаеш, че можеш да направиш това без страх, че ще ти отвърнат. И можеш да кажеш на баща ми, че ще постъпвам тъй с всеки негов мръсен доносник.“ Ливила потвърдила същото на другия ден, когато дошла да се оплаче, че Кастор я е бил; обяснила, че я бил, защото му казала колко се отвращава от него, загдето е ударил човек, беззащитен да му отговори със същото, и загдето е обидил баща си. Тиберий им повярва. На Кастор той не каза нищо, но постави бронзова статуя на Сеян в театъра на Помпей, изключителна чест, оказвана някому приживе. Това се изтълкува като знак, че Кастор е в немилост пред Тиберий въпреки своето трибунство (защото Сеян и Ливила бяха разпространили версията за скарването) и че сега Сеян е човекът, чието благоразположение заслужава да се търси. Вследствие на това от статуята се направиха безброй отливки, които неговите съчувственици поставяха на почетно място в преддверията си, от дясната страна на статуята на Тиберий: статуи на Кастор обаче се срещаха малко. Сега по лицето на Кастор всякога, когато срещаше баща си, се четеше такова възмущение, че това улесни задачата на Сеян. Той сподели с Тиберий, че Кастор подопитвал различни сенатори за готовността им да го подкрепят, ако реши да узурпира монархията, и че някои от тях вече му обещали. Онези, които се сториха опасни на Тиберий, бяха веднага арестувани под познатия предлог за богохулство срещу Август. Един бе осъден на смърт, защото отишъл в нужника със златна монета с лика на Август в ръка. Друг един бе обвинен, че е включил статуя на Август в списъка на покъщнината за продан от извънградската си вила. Щяха да го осъдят на смърт, ако консулът, който председателствуваше съда, не бе помолил Тиберий да гладува пръв. Тиберий изпита срам да гласува за смъртно наказание, тъй че човекът бе оправдан, но скоро го осъдиха по друго обвинение.
Кастор се уплаши и помоли Ливия за помощ срещу Сеян. Ливия му казала да не се страхува: скоро щяла да вразуми Тиберий. Но тя не вярваше на Кастор като съюзник. Отишла при Тиберий и му съобщила, че Кастор обвинявал Сеян в похищение на Ливила, в това, че опозорявал положението си на довереник, като шантажирал богаташите от името на Тиберий, и в стремеж към завземане на монархията. Освен туй бил заявил, че ако Тиберий час по-скоро не се отърве от този мошеник, той щял да вземе нещата в свои ръце; а след това я бил помолил за съдействие. Излагайки по този начин случая пред Тиберий, тя се надявала да събуди у него същото недоверие към Сеян, каквото изпитвал към Кастор, и така да го върне към стария му навик да се опира само на нея. За известно време поне успя. Но наскоро един случай внезапно накара Тиберий да се убеди, че Сеян му е толкова предан, на колкото се преструваше и какъвто всичките му досегашни постъпки го представяха. Излезли заедно да се хранят на открито един ден, с още трима-четирима приятели, в една пещера край морския бряг, когато долетял внезапен трясък и грохот и част от тавана пропаднал, убивайки неколцина от придружаващите ги и препречвайки целия изход. Сеян се надвесил с извит гръбнак над Тиберий — те били и двамата невредими, — за да го предпази от нови срутвания. Когато един час по-късно войниците ги разкопали, намерили го в същото положение. Между другото и Трасил заздрави доброто си име при този случай: казал бе на Тиберий, че около пладне през този ден го очаква един час на мрак. Тиберий бе получил уверения от Трасил, че ще надживее Сеян с много години и че Сеян не е опасен за него. Мисля, че сам Сеян бе уредил това с Трасил, но нямам доказателства — Трасил не беше докрай неподкупен, ала когато изричаше предсказания, за да задоволи желанията на клиентите си, те някак си се сбъдваха, също като истинските му предсказания. Тиберий наистина надживя Сеян с няколко години.
Тиберий направи още една публична демонстрация, за да покаже, че Кастор е в немилост, като го порица пред Сената за едно негово писмо. Кастор се бе извинил, че не е в състояние да присъствува на жертвоприношението по случай откриването на заседанията на Сената след лятната ваканция, обяснявайки, че друго обществено задължение го спира да се завърне навреме в града.