Объяснялось это отнюдь не меньшей ученостью Мэдисона в сравнении с другими делегатами и не его молодостью. В правовых и иных познаниях, пополняемых ежедневно на протяжении нескольких лет учебы в Принстоне и затворничества в Монпелье, Мэдисон превосходил большинство членов комиссии, а что касается возраста, то на ведущих местах в конвенте оказались лица и помоложе его — секретарю конвента Г. Тейзвелу было 23 года, а первому генеральному прокурору штата Э. Рандольфу — 22. Но ни они, ни более зрелые делегаты не могли состязаться в популярности с одним из 30 членов комиссии, признанным властителем умов патриотического движения Джорджем Мэйсоном, который в отсутствие среди участников конвента Р. Г. Ли и Т. Джефферсона почитался чуть ли не как оракул всевозможных истин. Ему и поручили составить как декларацию прав, так и конституцию.
Трудно сказать, как отнесся Мэдисон в 1776 г. к виргинской конституции, составленной по проекту Мэйсона. Девять лет спустя он резко осудил ее с умеренных позиций. Его не устраивала трактовка Мэйсоном принципа «разделения властей», направленная на возвеличивание роли законодательного собрания, передачу ему традиционных прерогатив исполнительной власти и умаление значения последней. Ему не нравилось ограничение власти губернатора исполнительным советом, сведение к минимуму различий между сенатом и палатой представителей, слишком многочисленный состав легислатуры и чересчур частое переизбрание всех органов власти. Не отвечающие политическим вкусам Мэдисона черты виргинской конституции в первые годы войны за независимость воплотились в той или иной мере в государственном устройстве большинства штатов. Страна переживала мощный демократический подъем, что отразилось даже в политической жизни плантаторской Виргинии.
Начало политической деятельности Мэдисона казалось многообещающим. Он был избран членом первого исполнительного совета штата, переизбран туда затем во второй раз. Но эта достаточно высокая, но все же не высшая политическая должность в штате могла стать на долгие годы потолком в карьере Мэдисона. После того как в Вильямсбург вернулись по истечении депутатских полномочий в Континентальном конгрессе Р. Г. Ли и Т. Джефферсон, они вместе с П. Генри и Дж. Мэйсоном стали поочередно сменять друг друга на губернаторском посту и в роли лидеров законодательного собрания. Пробиться в этот мощный политический квартет у Мэдисона не было никаких шансов, и он должен был расценить как благословение судьбы избрание его в 1779 г. представителем Виргинии в Континентальном конгрессе.
Мэдисон прибыл в Филадельфию, где заседал Континентальный конгресс, с твердым намерением защищать интересы родного штата. На протяжении первых лет пребывания его в конгрессе представления Мэдисона о географических границах родины определялись часто повторяемой молодым депутатом формулой: «Моя страна — Виргиния».
Члены конгресса, составившие представление о виргинских плантаторах по внешности аристократически величавых Вашингтона и Джефферсона, немало подивились при виде нового делегата южан. Невысокого роста, худой, припадающий на одну ногу, без единой кровинки в лице, изможденном недугом, — таким явился перед ними Мэдисон. Для тех, кто пытался поддерживать с ним связь вне стен конгресса, виргинец оказался «самым необщительным существом в мире». В самом конгрессе его могли наблюдать с большими перерывами (он часто и надолго уезжал домой из-за болезни). Не сразу, а шаг за шагом, словно по тонко размеченному плану, раскрывался Мэдисон как незаурядный политик.
Когда Мэдисон прибыл в Континентальный конгресс, между штатами велась изнурительная тяжба из-за условий вступления их в общеамериканский союз. В 1777 г. в проекте «Статей конфедерации», предложенном на рассмотрение штатам, был тщательно оговорен суверенитет их правительств во всех важных сферах социально-экономической и политической деятельности. Такая схема союза удовлетворяла патриотов, и только одно, но очень важное положение проекта о закреплении за властями штатов права распоряжаться своими землями, как они были определены колониальными актами, вызвало серьезнейшие споры между ними.
Свое мнение по этому вопросу выразили так называемые безземельные штаты, границы которых, согласно колониальным статусам, были четко определены и которые благодаря указанному положению «Статей конфедерации» лишались доступа к огромному массиву «свободных» земель запада. Особую строптивость проявили законодатели Мэрилэнда, отказавшиеся ратифицировать «Статьи конфедерации» до тех пор, пока право собственности на незанятые земли запада не будет передано Континентальному конгрессу. Мэрилэнду и другим «безземельным» штатам противостояли «земельные» штаты во главе с Виргинией и Нью-Йорком, территории которых в колониальную пору не были зафиксированы и которые притязали теперь на западные земли вплоть до Тихоокеанского побережья.