Нашел время Клавдий и для того, чтобы написать свою автобиографию. Одной из любимейших игр Клавдия была игра в кости, и Клавдий также написал об этом целую книгу, причем это могла быть одна из первых в мире книг по математическому исследованию вероятностей. Так что был он человеком весьма работоспособным и незаурядным, но с детства привыкшим держаться в тени и не выставлять напоказ свои способности, хотя так или иначе эти способности все равно иногда проявлялись.
Об этом же свидетельствует письмо Октавиана Августа, обычно ни во что не ставившего Клавдия, своей жене Ливии: «Хоть убей, я сам изумлен, дорогая Ливия, что декламация твоего внука Тиберия (полное имя Клавдия было тогда Тиберий Клавдий Друз Германик) мне понравилась. Понять не могу, как он мог, декламируя, говорить все, что нужно, и так связно, когда обычно говорит так бессвязно».
При Октавиане Августе Клавдий не занимал никаких сколько-нибудь важных должностей. Не блистал он и при своем дяде Тиберии, хотя в 14 году его с Тиберием, Друзом Младшим и Германиком ввели вместе с двадцатью другими знатнейшими гражданами Рима в жреческую коллегию августалов, призванную чтить память почившего и обожествленного Октавиана Августа. По словам Корнелия Тацита, когда в 20 году был осужден и покончил с собой Гней Кальпурний Пизон, обвиненный в отравлении брата Клавдия, выдающегося полководца Германика, сенатор Валерий Мессалин предложил сенату «принести благодарность Тиберию, Августе, Антонии Агриппине и Друзу, воздавшим возмездие за Германика», а о Клавдии, которому тогда исполнилось уже тридцать лет, даже забыл упомянуть. Правда, когда другой сенатор, Луций Аспренат, поинтересовался, умышленно ли тот не сказал о Клавдии, имя Клавдия также внесли в этот почетный перечень, но это показывает, насколько мало ценили тогда Клавдия римские политики. Комментируя это, Корнелий Тацит
писал: «Чем больше я размышляю о недавнем или давно минувшем, тем больше раскрывается предо мной, всегда и во всем, суетность дел человеческих. Ибо молва, надежды и почитание предвещали власть скорее всем прочим, чем тому, кому судьба определила стать принцепсом и кого она держала в тени». Клавдий пробовал было выпросить у Тиберия должность, но тот ему отказал, предоставив лишь знаки консульского достоинства (Клавдий получил почетную стражу из ликторов, но никакой реальной власти это не давало). После этого он уже оставил всякую надежду на возможное возвышение и удалился от дел в загородную виллу в Кампании, где жил в обществе людей не знатных и не влиятельных, «усугубляя позорную славу о своем тупоумии дурной славой игрока и пьяницы».Однако при всем при том Клавдий не переигрывал и люди не отказывали ему в уважении. Несмотря на невысокое тогда положение Клавдия, когда он входил в театр, все вставали и обнажали головы. Всадническое сословие дважды избирало его главою посольства к консулам — один раз, прося разрешения на своих плечах перенести тело скончавшегося Октавиана Августа в Рим, а другой раз — принося поздравления Тиберию по случаю раскрытия и пресечения заговора Сеяна.
Император Тиберий, хотя и не давал Клавдию должностей, умирая, все же назначил его наследником в третью очередь и завещал ему в подарок два миллиона сестерциев, а вдобавок особо указал на него войскам, сенату и римскому народу, перечисляя в завещании своих родственников.
Светоний Транквилл
пишет, что в правление своего племянника Гая Цезаря (Калигулы) Клавдий поначалу выдвинулся и два месяца разделял с Калигулой консульство, но затем он попал в немилость. На него писали доносы, а при дворе начали специально унижать. Так, если он опаздывал на обед, то не сразу мог найти себе место за столом, а лишь обойдя весь зал. А когда он был послан в Германию поздравить находившегося там Калигулу от имени сената, то Калигула, разозлившись, что к нему, как к мальчишке, прислали его дядю для надзора, приказал бросить Клавдия, прямо как он был в дорожной одежде, в реку. После этого Клавдий старался быть тише воды и ниже травы и с тех пор при обсуждении дел в сенате подавал голос последним. Но все равно на него сыпались разные напасти. За сан жреца введенного Калигулой божества Калигулы-Юпитера Клавдий был вынужден заплатить восемь миллионов сестерциев, и это так подорвало его средства, что он не мог вернуть долг казне, и по указу префектов казначейства его имущество было предложено к продаже с торгов, согласно закону о налогах. К концу правления Калигулы Клавдий находился в постоянном страхе за свою жизнь.