С другой стороны, правительство империи непрерывно расширяло ее. В результате постоянного присоединения к Франции совершенно чуждых ей земель образовалась страна из ста тридцати департаментов, в которой жили 60 миллионов человек. Она простиралась от Рима до Гамбурга и от Бреста до Рагузы – города на восточном побережье Адриатики. Затраты на содержание такой империи были огромны, хотя государственные расходы регулировались очень внимательно и аккуратно. Так же обстояло дело с военными затратами. Хотя расходы на саму войну в значительной степени перекладывались на побежденных, затраты на постоянное снаряжение новых армий не могли не ложиться тяжелейшим бременем на бюджет империи. Денег, поступавших от прямых налогов, скоро оказалось недостаточно, и правительство стало искать новые ресурсы. В 1805 г. французов обложили большими налогами на спиртное, карты и транспортные средства. В 1806 г. появился налог на соль, а в 1811 г. монополия на табак. Возрождение этих отмененных революцией налогов, возвращение к старым дополнительным налогам и особенно налог на соль, даже воспоминание о котором было ненавистно французам, раздражали всех, на кого государство взвалило это бремя.
Но главной и всеобщей причиной недовольства был постоянный призыв новобранцев в армию, необходимый из-за постоянных войн. Воинская повинность была непопулярна с самого начала: казалось, что угроза вторжения любых иностранцев очень далека, и французы не понимали, зачем теперь им служить в армии. В дни Консульства Наполеон сделал попытку облегчить это бремя: он призывал на службу лишь малую часть возможных новобранцев, а именно около 30 тысяч человек из 200 или 250 тысяч числившихся в списках призывников. Он ввел жеребьевку: все новобранцы тянули жребий, и те, кому доставались «счастливые», самые большие номера, освобождались от службы. Вскоре император разрешил замену призывника, то есть позволил богатому новобранцу «купить» человека, который будет служить вместо него. Но в начале 1805 г. стали видны недостатки этой системы. С каждым годом в армию набирали все больше солдат, и наборы становились все чаще. Император решил не только забирать людей в армию целыми группами, но и начал призывать тех, кто раньше был уволен из армии, а также из многих разрядов молодежи забирать в армию юношей, которым оставался год или даже два года до определенного законом призывного возраста. В 1813 г. в армию было призвано почти 1 миллион 200 тысяч человек. Уже в начале 1808 г. тысячи молодых людей калечили себя или бежали в леса и горы, чтобы не идти на военную службу. Наполеон наказывал за вину дезертира его родственников большими штрафами (общая сумма которых всего за один год составила 170 миллионов франков, что равно 34 миллиона долларов), ставил к таким правонарушителям на постой в дома солдат, которых они должны были содержать за свой счет, или размещал у них на квартирах жандармов и судебных приставов. Точно так же Людовик XIV принуждал протестантов к переходу в католичество. Но эти карательные меры не имели никакого успеха. Несмотря на них, в 1810 г. 160 тысяч призывников уклонялись от службы и 55 тысяч солдат, разделенных на малые колонны, ловили этих упрямцев. В 1813 г., когда Наполеон шел по предместью Сент-Антуан, какой-то призывник оскорбил его, а когда полицейские арестовали обидчика, женщины напали на них. Со всех сторон звучали жалобы, все и повсюду чувствовали неприязнь к императору. Народ прозвал его Чудовищем. Понадобились жестокости, совершенные союзниками при их вторжении во Францию в 1814 г., унизительный для французов первый Парижский договор и грубые ошибки Бурбонов после первой Реставрации, чтобы французы забыли свою ненависть к Наполеону и почувствовали к нему прежнюю любовь.