Пока же Джон покинул Конгресс в марте 1821 г. и занялся правовой практикой и ведением своего хозяйства. Очень скоро он, однако, вновь почувствовал тягу к политике и в 1823 г. легко выиграл выборы в Палату делегатов своей Вирджинии. Особыми акциями он там не отличался, выступал редко. Единственным существенным достижением были инициативы по сохранению его «альма матер» — колледжа Уильяма и Мэри, который переживал финансовые трудности. В легислатуре обсуждался вопрос о его переносе в столицу штата Ричмонд, что означало бы фактическое закрытие этого колледжа, замену его другим образовательным учреждением. Тайлер же предложил провести административную реформу колледжа, укомплектовать его квалифицированными преподавателями и одновременно выделить средства штата на это дело. Он внес несколько проектов резолюций, связанных с возрождением колледжа, которые были поддержаны. Колледж Уильяма и Мэри сохранился и в следующие годы стал престижным учебным заведением. В Вирджинии деятельность Тайлера по спасению родного колледжа была оценена высоко, значительно повысила его авторитет. Он даже был избран ректором этого заведения, правда, это была почетная должность, никаких реальных действий по руководству колледжем Тайлер не предпринимал.
В декабре 1825 г. он был избран губернатором штата. Это, правда, тогда была также в основном должность «за заслуги», так как губернатор правами почти не обладал, даже не мог налагать вето на законы. Единственным заметным проявлением Тайлера на этом посту было выступление на похоронах бывшего президента Джефферсона в июле 1826 г. В то же время некоторые рекомендации губернатора воспринимались в законодательном органе положительно. Чтобы противостоять инициативам федерального «внутреннего совершенствования», он предложил наметить план строительства дорог в масштабах штата и расширить финансирование публичных школ, которые находились в запущенном состоянии.
В начале 1827 г. легислатуре Вирджинии предстояло избрать нового сенатора федерации. На эту должность были выдвинуты несколько кандидатур, включая Тайлера. С большим трудом, лишь слегка оторвавшись от соперников, он добился большинства и в начале марта того же года отправился в Вашингтон во второй раз.
В сенате упрямый вирджинец продолжал свой курс, выступая главным образом как защитник прав штатов и противник укрепления федерального правительства. Именно с этих позиций он оценивал президентские выборы 1828 г., осторожно поддержав Джексона, которого считал сторонником укрепления федерации, но не столь рьяным, как Адамс-младший. В одном из выступлений Тайлер заявил о Джексоне: «Говоря о нем, я могу, по крайней мере, выразить некоторую надежду. Глядя на Адамса, я прихожу в отчаяние». Вскоре, однако, он полностью разочаровался и в Джексоне, который, вопреки его ожиданиям, взял курс на укрепление федерации. Он голосовал против административных назначений Джексона, объявляя их то ли антиконституционными, то ли результатом протекции. Хотя Тайлер оставался представителем Демократическо-республиканской партии, в Конгрессе его часто называли инакомыслящим, причем с определенным уничижительным смысловым оттенком, используя слово
В 1832–1833 гг. в Конгрессе развернулись жаркие дебаты по поводу «нуллификационного кризиса», вызванного тем, что законодатели штата Южная Каролина угрожали выходом из США в том случае, если их будут принуждать согласиться с законом о повышенных таможенных тарифах, которые были объявлены неприемлемыми для этого штата. Прения на федеральном уровне вылились в обсуждение конституционной проблемы соотношения федерального законодательства и законов штатов. Могут ли штаты отменять общеамериканские законы? — так звучал вопрос, который большинство депутатов считали нелепым по существу, ибо сама постановка его грозила распадом страны. Тайлер же, выступив в защиту Южной Каролины и подвергнув острой критике заявление Джексона о намерении принудить силой этот штат подчиняться общегосударственному законодательству, фактически порвал с Демократическо-республиканской партией, хотя пока не объявил о выходе из нее.
В то же время Тайлер все более сближался с формировавшейся Партией вигов, в частности с Генри Клеем, фактическим руководителем оппозиции в Сенате, который стоял во главе зачаточной новой партии. Клей был фигурой противоречивой. С одной стороны, он возглавил раскол демократов-республиканцев, с другой — в ряде случаев выступал за компромиссные решения. Именно его считают инициатором Миссурийского компромисса. Неудивительно, что в руководстве новой партии, к которой фактически примкнул Тайлер, сразу начались разногласия, которые привели к разрыву между обоими деятелями, так как Тайлер выступил, как и ранее, непримиримым защитником прав штатов.