За предыдущее десятилетие количество офисов, безусловно, выросло. Список офисов в начале 1790-х годов занимал всего одиннадцать страниц, а десять лет спустя он заполнил почти шестьдесят страниц.46 В предыдущих федералистских администрациях Джефферсон повсюду видел "расходы... на невиданную работу; агентства на агентствах во всех частях земли, причем для самых бесполезных или злонамеренных целей, и все они открывают двери для мошенничества и растрат, выходящих далеко за пределы мнимой прибыли агентства".47 Таким образом, штат федеральных чиновников пришлось сильно сократить. Были ликвидированы все налоговые инспекторы и сборщики налогов, что сократило число служащих казначейства на 40 %. Дипломатическое ведомство было сокращено до трех миссий - в Британии, Франции и Испании. Если бы Джефферсон мог добиться своего, он бы избавился от всех иностранных миссий. Как и другие просвещенные верующие в возможность всеобщего мира, он хотел иметь только коммерческие связи с другими странами.48
Республиканцы были полны решимости разрушить мечту федералистов о создании современной армии и флота. Когда в начале 1800 года Джефферсон узнал о государственном перевороте, совершенном Наполеоном в ноябре 1799 года и свергнувшем Французскую республику, он не стал делать вывод, который сделали федералисты: слишком много демократии ведет к диктатуре. Вместо этого он сказал: "Я прочитал это как урок против постоянных армий".49 После вступления в должность он позаботился о том, чтобы военный бюджет был сокращен вдвое. Поскольку в 1790-х годах вооруженные силы были крупнейшей причиной расходов, не связанных с долгами, и составляли почти 40 % от общего объема федерального бюджета, эта мера означала серьезное сокращение общих расходов национального правительства.
Поскольку в офицерском корпусе армии преобладали федералисты, его необходимо было радикально реформировать, уволив наиболее пристрастных офицеров-федералистов и сделав остальных лояльными к республиканской администрации. Хотя Джефферсон в 1790-х годах выступал против создания военной академии, теперь он поддержал идею ее учреждения в Вест-Пойнте как средства обучения офицеров республиканской армии, особенно тех, чьи семьи не имели достатка, чтобы отправить своих сыновей в колледж. Закон об установлении военного мира 1802 года, заложивший основу для реформы армии Джефферсона, наделил президента чрезвычайными полномочиями в отношении новой академии и инженерного корпуса, которому поручалось ее функционирование.50
До тех пор, пока ее не удастся основательно "республиканизировать", в армии, размещенной на Западе, оставалось три тысячи регулярных войск и всего 172 офицера. По мнению Джефферсона, для обороны Америки было достаточно ополчения штатов . Хотя военная машина флота состояла всего из полудюжины фрегатов, Джефферсон хотел заменить это подобие постоянного флота несколькими сотнями небольших мелкосидящих канонерских лодок, которые предназначались для внутренних вод и обороны гаваней. Они стали бы версией ополчения, безусловно, предназначенной для защиты береговой линии, а не для рискованных военных авантюр в открытом море. Такие небольшие оборонительные корабли, по мнению Джефферсона, никогда не смогут "стать возбудителем наступательной морской войны" и вряд ли спровоцируют морские атаки со стороны враждебных иностранных держав.51 Постоянное военное присутствие, которого желали федералисты, было и дорогостоящим, и, что еще важнее, угрожало свободе.
Поскольку финансовая программа Гамильтона легла в основу возросшей политической власти федерального правительства, ее, прежде всего, необходимо было ликвидировать - по крайней мере, в той степени, в какой это было возможно. Джефферсона удручало, что его правительство унаследовало "ограниченные, английские, полуграмотные идеи Гамильтона". . . . Мы можем выплатить его долг за 15 лет, но мы никогда не сможем избавиться от его финансовой системы". Но кое-что можно было сделать. Все внутренние акцизы, которые федералисты придумали для того, чтобы люди чувствовали энергию национального правительства, были отменены. Для большинства граждан присутствие федерального правительства свелось к доставке почты. Такое незначительное и далекое правительство, отмечал один из наблюдателей в 1811 году, "слишком мало ощущалось в обычных жизненных заботах, чтобы соперничать в какой-либо значительной степени с более близким и мощным влиянием, оказываемым деятельностью местных органов власти".52