Сами Юнии считали себя потомками знаменитого Люция Юния Брута, основателя Римской республики, отца римской свободы. Он был родственником царского дома Тарквиниев, но ненавидел тиранию, установленную последним царем Тарквинием Гордым. Когда сын царя Секст обесчестил добродетельную Лукрецию, и та покончила с собой, Брут призвал римлян к восстанию. Римляне свергли Тарквиниев и отныне стали считать свое государство не частным делом —
Муж Сервилии Марк Брут был марианцем и врагом Суллы. В 83 г. до н. э. он занимал должность народного трибуна и стал инициатором выведения колонии в Капую, чем вызвал к себе ненависть со стороны оптиматов. Когда Сулла установил свою диктатуру, Брутто ли бежал, то ли, подобно молодому Цезарю, был вычеркнут из проскрипционных списков по просьбам влиятельных друзей. Во всяком случае, в 78 г. до н. э. он действовал в Италии. Когда в следующем году Марк Эмилий Лепид поднял восстание с целью свержения сулланского режима, Брут примкнул к нему и стал его легатом. По поручению Лепида он набрал войско в Северной Италии и с ним захватил город Мутину. Однако в скором времени сюда подошел с войсками Помпей. После осады он разбил Брута и захватил Мутину. Брут попал в плен, и Помпей на следующий день приказал его убить. Так сын Брута, которому еще не было и восьми лет, стал сиротой, а Сервилия вдовой.
Сервилия была дамой любвеобильной, и как раз в то время, когда родился ее сын, у нее развивался бурный роман с Цезарем, который был ненамного старше ее. Это, видимо, не было простым увлечением. Уже много позже, в 63 г. до н. э., когда Катон и Цезарь в сенате спорили о судьбе арестованных участников заговора Катилины, Цезарю принесли какое-то письмо, и Катон, подозревая, что Цезарь получил весть от заговорщиков, потребовал, чтобы Цезарь это письмо прочитал вслух. Цезарь передал его Катону, и тот, к своему стыду, увидел, что это любовное послание его сестры Сервилии, после чего он бросил его назад Цезарю. И Цезарь, видимо, всю жизнь оставался к ней неравнодушен. В 59 г. до н. э., будучи консулом, он подарил Сервилии жемчужину колоссальной стоимости в 6 миллионов сестерциев, а еще позже, уже во время гражданской войны, продал ей же за бесценок богатое конфискованное поместье. Из-за этого романа многие считали Брута в действительности сыном Цезаря. Может быть, и сам Цезарь в глубине души думал так же. Накануне битвы при Фарсале он приказал сделать все возможное для спасения Брута и откровенно радовался, узнав, что Брут спасся. В роковой день 15 марта 44 г. до н. э., когда на Цезаря напали заговорщики, он, увидев среди них Брута, воскликнул: «И ты, дитя!», после чего перестал сопротивляться. Сам же Брут всегда считал себя сыном своего законного отца и всю жизнь ненавидел Помпея за его убийство.