Король Жером имел неприятности с бандитами иного рода. Территория его королевства была собрана из различных феодальных поместий, и исконные их владельцы ни в коей мере не отказывались от перспективы восстановления своей собственности с помощью силы. Одна из таких жертв, герцог Брауншвейгский, воспользовался стремлением Австрии к свободе и возглавил отряд в 2000 человек, но был покинут своей союзницей. Наполеон не принимал его всерьез, пока тот не совершил налет на Брауншвейг и не захватил его. Горожане же не взялись за оружие, как рассчитывал герцог, и поэтому он, увернувшись от генерала Ребеля, подчинявшегося Жерому, проложил себе путь к побережью и достиг в конечном счете Англии через остров Гельголанд. Жером был в ярости на Ребеля за его неспособность захватить герцога, и когда тот запросил разрешение прочесать Брауншвейг, для того чтобы выловить всех повстанцев и получить компенсацию с виновных, Жером отстранил его от службы в Вестфалии. Ребель воспринял свою отставку философски, очевидно полагая, что ему ничего не светило на службе у короля, который не только не платил своим солдатам, но и не разрешал им компенсировать жалованье путем грабежа. Жером все еще был не в состоянии сводить концы с концами и в попытке добыть немного денег прибег к контрабанде. В нарушение имперских директив о запрете торговли с Англией он допустил заход в Вестфалию трех сотен телег с английскими грузами. Когда его брат узнал о такой сделке, он послал обычное гневное письмо, но Жером ответил, что, если он не получит финансовой помощи от Франции, его страна не сможет прожить и двух месяцев и что он вполне мог бы отречься от престола и покончить со всем этим. Угроза сработала, и императорское давление на время ослабло. Наполеон отнюдь не хотел заполучить в семье третьего повстанца.
Нехватка денег преследовала Жерома на протяжении всей его жизни, но никогда не мешала извлекать максимум из того, что он мог подзанять. Череда карнавалов, балов и королевских санных выездов продолжала отягощать далеко не богатый двор Касселя. При некоторых зимних пирушках король менял свои одеяния по нескольку раз за вечер и танцевал под звуки кастаньет. В то же время королева Екатерина, которая могла бы отказаться от всех этих забав после своей угрюмой жизни в Вюртемберге, появлялась в костюме то старой еврейки, то американской индианки или крестьянки из Черного леса в окружении красоток двора, одетых как сказочные ведьмы. Жером глубоко верил в значимость своего внешнего вида. Когда бы он и его свита ни отправлялись за границу или ни наносили государственный визит в Тюильри, вестфальцы всегда считались лучше всех одетыми в собравшейся компании. Вестфальские камергеры были в мантиях из ярко-красного бархата с воротничками из золотой ткани, белых атласных кушаках с золотыми кисточками и украшенных плюмажем шляпах, в то время как король носил костюм из отороченного золотом белого атласа и помещал бриллиантовую застежку на свою кожаную шляпу. Сам Жером, будучи повесой, проявлял похвальную терпимость к слабостям других. Так, например, случилось, когда он узнал, что его любовница Бланка Каррега изменяла ему с кавалеристом по имени Марбрей. Впрочем, обстоятельства этого разоблачения должны были бы принести Жерому некоторое удовлетворение, так как Бланка, имевшая не одну любовную связь, была застигнута Марбреем в объятиях солдата из Военного управления. В порыве гневной ревности Марбрей обоих их отстегал кнутом, и крики пострадавшей Бланки дали возможность Жерому заметить ее недостойное поведение. Он утешил ее, отослал Марбрея в вестфальский легион в Испании и изгнал любовника-соперника из своих владений, но Бланке было позволено остаться при дворе. Прошло немного времени, как она снова проявила неверность, на этот раз с братом Екатерины, принцем Вюртембергским, но Жером опять простил ее, попросив изменить свое поведение. Между тем Марбрея вернулся раненым в звании капитана с орденом Почетного легиона, но служба в Испании не смогла усмирить его темперамент, и он устроил другую неистовую сцену на публике, за что и был выслан из страны. Ему удалось отомстить несколько лет спустя, когда империя уже рушилась под напором союзников. Демонстрируя свою симпатию к Бурбонам, он привязал изображение наполеоновского ордена Почетного легиона к хвосту своей лошади.
Скандалы Бланки Каррега вскоре приобрели такую известность, что даже Жером не мог допустить ее пребывания при дворе, и она была отправлена в Швейцарию, где продолжала жить на хорошем довольствии, оплачиваемом ей принцем Вюртембергским. Жером успокоился иначе, и его иногда можно было увидеть покидающим бал в полночь в компании одной из фрейлин его жены, а на следующий день он появлялся с правдоподобным объяснением своего отсутствия.