В смерти Барбары подозревали королеву Бону. Говорили, что молодую королеву отравил секретарь Боны — Людвик Монти. Сигизмунд Август так и не простил матери неприязни к своей жене. И Бона в 1556 году, прихватив из казны драгоценности, уехала на родину в Италию, где вскоре была отравлена.
Похоронили Барбару в Вильно, хотя поляки и Радзивиллы хотели положить королеву в королевской гробнице на Вавеле. «Тут при ее жизне хотели быть благородными, пусть и после смерти никто ее тут не видит», — решил Сигизмунд Август. Всю дорогу до Вильно он ехал на коне за повозкой с гробом Барбары и плакал. Король до конца жизни носил траурную черную одежду. И он завещал похоронить себя возле могилы Барбары, чтобы и после смерти быть рядом с любимой.
Легенды рассказывают, что король пригласил к себе известного мага Твардовского. По его просьбе маг показал в зеркале тень Барбары. Увидев привидение любимой, король с криком: «Басенька моя!» — бросился к нему. Произошел взрыв, и в дыму привидение исчезло. История любви Сигизмунда Августа и Барбары Радзивилл послужила сюжетом многих литературных и художественных произведений. И в них Сигизмунд Август показан романтическим влюбленным и несчастным мужем, вызывающим сострадание. Прославила Сигизмунда Августа не его государственная деятельность, а несчастная любовь.
Личное горе угнетающе подействовало на Сигизмунда Августа. Он безвольно принимает решения по совету Николая Черного, которому дал уряд виленского воеводы и земского маршалка. Папский легат Алоиз Липпомани писал о Радзивилле: «...этот пан является всем у короля: советчиком, канцлером, маршалком, фамильярным приятелем, с которым король ест, танцует, забавляется». Современники объясняли такую зависимость правителя от своего сановника колдовством. Так считал австрийский посол Ян Лан: «Формулами колдовскими и дьявольским влиянием овладел он (Радзивилл. — Авт.) полностью королем, и то, что советует, наговаривает, что скажет и что пожелает, то король делает, не обращая внимания ни на чей совет, в делах религиозных или делах государства, или иных важных делах». Но не в колдовстве крылась сила Радзивилла, а в слабости самого Сигизмунда Августа. Современники отмечали, что Сигизмунд Август «кажется слабым, а поэтому не любит трудов и забот. В разговорах осторожный, скрытный, ссылается на недомогание, в ответах своих сдержанный, такие использует двойственные высказывания, что кажется, что его слова можно понять иначе и, как правило, никогда не обнадеживать там, где говорит о публичных делах, и вместе с тем никогда ничего не обещает с уверенностью». От такого правителя нельзя было ждать выдающихся свершений, а от его подданных — активной деятельности. Одни предались разгульной жизни, другие впали в «ересь» — увлеклись модным протестантизмом, третьи вовсе забыли о своих государственных обязанностях.
Папский нунций Алоиз Липпомани обвинил польскую шляхту в падении морали и боевого духа: «Отец его был королем необыкновенных достоинств, немалой охоты к рыцарским делам. Но сын, любящий спокойствие, ни разу не вышел еще в поле, что ослабило боевой дух шляхты, которая раньше непрерывно занималась в воеводствах рыцарским ремеслом, всегда готовая собраться под руководством короля числом в сто тысяч польской конницы. Теперь отвыкла от оружия, залегла дома и вместо обороны страны и соединенных с ней краев, отдается чтению еретических книг».