В 1832 г. молодой юрист выдвинул свою кандидатуру в Палату представителей Конгресса США и был избран. Именно в это время из ряда мелких групп началось формирование Партии вигов, в которой депутат сразу стал одним из активистов. Он выступал, как и другие виги, против «джексоновской демократии», предоставлявшей слишком большие права штатам, за строительство федеральных дорог и мостов, за создание единой национальной инфраструктуры, за постепенное ограничение и в перспективе отмену рабства. Он покровительствовал родному штату, способствовал решениям о развитии городов Олбани и Буффало, в частности строительству водных сооружений в их районах на реке Гудзон и озере Эри — одном из Великих озер. Он активно выступал за реконструкцию сооруженного еще в 1820-е гг. судоходного канала Эри, который связал озера с Атлантическим океаном, и добился выделения на это необходимых средств. Видимо, эти заботы побудили конгрессмена заняться и инфраструктурой столицы. Он выступил инициатором строительства моста в центре Вашингтона через реку Потомак.
На конгрессмена обратил внимание влиятельный массачусетский сенатор Даниэль Уэбстер, который взял его под свое покровительство. Со временем между ними установилась дружба, продолжавшаяся до смерти Уэбстера, когда Филлмор уже был президентом, а Уэбстер госсекретарем.
В 1834 г. Филлмор отказался участвовать в выборах (причины не вполне ясны, он объяснял, что решил заняться личными делами), но в следующие годы вновь избирался от своего штата, а в 40-е гг. выдвигался на пост вице-президента и губернатора штата Нью-Йорк, но в обоих случаях не добился успеха. Миллард Филлмор постепенно стал фигурой, известной в национальном масштабе, хотя не выходившей на первые роли. На выборах 1848 г. он стал кандидатом Партии вигов в вице-президенты и вместе с Закари Тейлором одержал победу.
В президентской администрации Филлмор чувствовал себя не просто второстепенным лицом, но чуть ли не лишним. Он попал в вице-президенты как компромиссная фигура, а его соперник сенатор Уильям Суард — лидер новой Республиканской партии и явный недоброжелатель Филлмора — стал главным советником Тейлора и с ходу блокировал робкие попытки вице-президента высказывать свои суждения и советы. Единственной реальной заботой, правда, вне новой должности, стало председательствование в совете Смитсоновского института, который превращался в национальный центр культуры.
В этих условиях между президентом и вице-президентом возник прямой конфликт по вопросу о Компромиссе 1850 г. Филлмор заявил Тейлору, что он открыто выступит в Конгрессе против входивших в этот пакет законов, в частности о сохранении рабства в некоторых новых западных штатах, и в случае равенства голосов в Сенате подаст в качестве председателя отрицательный голос. В действительности такая ситуация сложиться не могла, так как в верхней палате преобладали сторонники компромисса, но между президентом и вице-президентом наметился явный конфликт. Конец ему положила смерть Тейлора 9 июля 1850 г. На следующий день Филлмор принес присягу в качестве главы государства.
Став президентом, Миллард Филлмор несколько изменил свое отношение к компромиссу. Он полностью поддержал принятие Калифорнии в Союз в качестве свободного штата, настоял на том, чтобы в штате Нью-Мексико также было запрещено рабство, и поддержал тех, кто выступил против территориальных претензий Техаса на территории Нью-Мексико. В то же время он согласился с фактически неизбежным: сохранением рабовладения в самом Техасе. Соответствующие законы были утверждены Конгрессом. Прямое столкновение Севера и Юга на некоторое время было отложено, хотя его неизбежность была ясна.
В связи с пресловутым компромиссом наблюдатели сразу отметили разницу в стиле руководства государством между покойным Тейлором и Филлмором. Если Тейлор, многие годы прослуживший в армии, представлялся жестким и бескомпромиссным, то его преемник, карьерный политик и адвокат, выглядел склонным к компромиссам. В наибольшей степени это проявилось в отношении к южным экстремистам, угрожавшим разрывом с США. В то время как Тейлор выражал готовность подавить любую их попытку силой, Филлмор всячески стремился умиротворить их, выступал с успокоительными заявлениями. На севере, выходцем откуда был сам президент, такая политика воспринималась с опасениями за судьбы страны.
В то же время уже первыми своими актами новый президент четко продемонстрировал разрыв с политикой предшественника, уволив в отставку весь кабинет министров и назначив на министерские посты ряд своих близких и друзей. Он не упразднил должность вице-президента, как утверждают некоторые авторы, уже в силу того, что существование этой должности было предусмотрено Конституцией, но объявил, что при нем вице-президента не будет. Пост государственного секретаря получил Даниэль Уэбстер, ставший теперь альтер эго Филлмора. Правда, болезни и старость (ему было около 70 лет) привели к тому, что на новом посту он не был активен, а в конце 1852 г. скончался.