В 1823 г. 28-летний юрист был избран в Палату представителей штата Теннесси, причем мемуаристы обращали внимание, что во время избирательной кампании он широко пользовался таким убедительным средством агитации, как угощение спиртными напитками местных фермеров и ремесленников.
В начале 1824 г. после полутора лет ухаживаний Джеймс Полк женился на Саре Чайлдресс, дочери плантатора и торговца землей, с которой был знаком еще с детства. Хотя у супружеской пары не могло быть детей, их семейная жизнь сложилась удачно и способствовала его карьере: наблюдатели сообщали, что Сара помогала супругу в подготовке его выступлений и организации встреч. Она даже произвела впечатление на Эндрю Джексона, который как-то заметил, что она была «хорошенькой, амбициозной и умной». Можно полагать, что близкое знакомство Джексона с семьей Сары (она называла его дядя Эндрю) оказало влияние как на политическую ориентацию Джеймса, так и на быстрое развитие его карьеры.
В том же 1824 г. в Палате представителей Теннесси разгорелись жаркие дебаты по поводу выдвижения представителя в Сенат США (напомним, что тогда сенаторов избирали законодательные органы штатов, а не избиратели). Полк энергично выступал в пользу Джексона и сыграл определенную роль в избрании последнего. А Джексон, уже взвешивавший свои шансы стать президентом, рассматривал сенатский пост как необходимый для того, чтобы дополнить свою военную славу опытом государственного деятеля. Так начал развиваться политический союз с Джексоном, переросший затем в личную дружбу. Дело дошло до того, что, называя Джексона Старым гикори, пресса подчас упоминала вместе с ним Молодого гикори — Полка.
На выборах в Палату представителей Конгресса США, проходивших в 1825 г., Полк выдвинул свою кандидатуру в качестве представителя Демократической партии и участвовал в агитации столь страстно, что родные даже опасались за его здоровье. В результате он добился победы, став в конце года депутатом.
Перебравшись в столицу, Полк сразу же проявил себя энергичным законодателем и столь же яростным сторонником Джексона, которого открыто называл своим учителем. Молодой конгрессмен часто брал слово. Начал он с критики не только администрации, но и некоторых конституционных основ. В частности, Джеймс выступил против функционирования избирательных коллегий при выборах президента, считая, что глава исполнительной власти должен избираться прямым голосованием. Его предложение не было поставлено на рассмотрение, но известие о молодом депутате, пытающемся сломать некие базовые принципы государственного устройства, причем на явно прогрессивной основе, распространилось по стране. Полк получил общеамериканскую известность.
Его позиции еще более упрочились во время и после президентских выборов 1828 г. Во время кампании он выступал в качестве советника Джексона, а после прихода Джексона к власти стал одним из наиболее лояльных и энергичных защитников его политики в Конгрессе. Фактически Джеймс оставался советником Джексона и в период его президентства. Журналисты утверждали, что он даже писал некоторые тексты выступлений президента и обоснования его вето законов. Правда, сам Полк отрицал эти факты, но анализ стиля некоторых заявлений Белого дома показывает, что в отдельных случаях без конгрессмена дело не обошлось.
Полк был одним из главных союзников Джексона в его «банковской войне», о которой мы уже писали в соответствующем очерке. Возглавляя Комитет по финансовым средствам, Полк инициировал расследование деятельности Второго банка, в результате которого пришел к выводу, что этот банк препятствует правильному расходованию государственных средств, и предложил его закрыть. Правда, на этот раз председатель комитета оказался в меньшинстве, и банк сохранился, но Джексон наложил вето на акт о его деятельности, которое законодатели не смогли преодолеть. «Банковская война» способствовала росту популярности Джексона, его переизбранию в 1832 году. А вместе с тем росло и влияние Полка.
В июне 1834 г., когда ушел в отставку спикер Палаты представителей Эндрю Стивенсон (он стал послом в Великобритании), Полк выставил свою кандидатуру на пост руководителя нижней палаты, но избран был другой депутат. Когда же в декабре 1835 г. собрался новый Конгресс, Полк повторил свою попытку, и на этот раз добился успеха. Большинство историков, исследующих этот период, согласны в том, что председательство Полка в нижней палате было важным условием проведения ряда мероприятий Джексона и его преемника Ван Бюрена.
Не всегда эти усилия были успешными. Не удалось, например, провести совместными усилиями спикера и президента реформу государственных финансов путем создания специального органа, который занимался бы всеми денежными делами правительственных учреждений. Тщательно подготовленный при участии Полка проект закона о создании «независимой казначейской системы» в палате не получил поддержки (такая система была введена только в 1840 г.).