Поскольку мальчика заставляли почти постоянно лежать, он занимал себя решением математических задач, просто чтобы убить время. «Мне приходилось дни напролет лежать в шезлонге, — писал он позднее, — и я отчаянно пытался придумать, как построить треугольник по трем заданным высотам». Высоты треугольника — это три линии, которые проходят через вершину и пересекают противоположную сторону под прямым углом. Если треугольник дан, то найти его высоты легко. Решить обратную задачу определенно труднее.
После выписки из санатория Йена продолжал размышлять о математике. В 1915 году он поступил в Лютеранскую гимназию в Будапеште, где в то время уже учился другой мальчик, которому предстояло стать одним из ведущих мировых математиков, — Янош (позднее — Джон) фон Нейман. Однако из знакомство оставалось лишь весьма поверхностным, поскольку фон Нейман предпочитал держаться особняком.
В 1919 году Венгрию наводнили коммунисты, и Вигнеры бежали в Австрию, вернувшись в Будапешт позднее, в том же году, когда коммунистов оттуда выбили. Все семейство перешло в лютеранство, но на Йену это большого влияния не оказало — как он говорил позднее, потому что он был «лишь умеренно религиозен». В 1920 году Йена закончил школу одним из лучших в классе. Он намеревался стать физиком, но отец хотел, чтобы он вступил в семейный кожевенный бизнес. Поэтому вместо того, чтобы получить диплом по физике, Йена стал изучать химическую инженерию: отец полагал, что она будет способствовать бизнесу. Он поступил на первый курс Будапештского технического института, а потом перешел в Высшую техническую школу в Берлине. В конце концов он стал проводить большую часть ценного времени в химической лаборатории, где ему нравилось, и меньшую часть — на теоретических занятиях.
Тем не менее Йена не оставлял мыслей о физике. Берлинский университет находился неподалеку, а кого там можно было увидеть, как не Планка и Эйнштейна вкупе с другими знаменитостями? Йена не преминул воспользоваться этой географической близостью и стал ходить на лекции бессмертных. Он закончил свою диссертацию об образовании и распаде молекул и, как и планировалось, начал работать на кожевенном заводе. Как и следовало ожидать, идея оказалась не слишком удачной. «Дела мои в дубильне шли не очень хорошо… Я чувствовал себя там не в своей тарелке… У меня не было ощущения, что это моя жизнь». Его жизнью были математика и физика.
В 1926 году с ним связался кристаллограф из Института Кайзера Вильгельма, которому требовался ассистент. Обязанности соединяли в себе в химическом контексте оба основных интереса Вигнера. Эта работа оказала огромное влияние на его карьеру, а тем самым и на развитие ядерной физики, поскольку познакомила Вигнера с теорией групп — математикой симметрии.
Первые существенные применения теории групп к физике состояли в классификации всех 230 возможных кристаллических структур. Вигнер писал: «Я получил письмо от кристаллографа, который хотел найти ответ на вопрос, почему положения, которые занимают атомы в кристаллической решетке, соответствуют осям симметрии. Кроме того, он сказал мне, что это должно иметь отношение к теории групп и что мне следует прочитать книгу по теории групп, а после этого найти ответ и сообщить ему».
Возможно, Антал Вигнер был в не меньшем ужасе, чем его сын, от сомнительных успехов последнего в области кожевенного дела, а потому позволил ему стать асситентом кристаллографа. Йена начал с чтения нескольких статей Гайзенберга по квантовой теории и развил теоретический метод вычисления спектра атома с тремя электронами. Он также понял, что этот метод может стать невероятно сложным, когда число электронов превысит три. В этот момент он обратился за советом к своему старому знакомому фон Нейману, который предложил ему почитать о теории представлений групп. Эта область математики в избытке содержала известные в то время алгебраические концепции и сложные методы, в особенности — матричную алгебру. Однако благодаря своим занятиям кристаллографией и близкому знакомству с основным на тот момент учебником по алгебре —
Совет фон Неймана оказался очень хорош. Если атом обладает некоторым числом электронов, то, поскольку все электроны тождественны, атом «не знает», какой электрон какой. Другими словами, уравнения, описывающие излучение, испущенное данным атомом, должны быть симметричны относительно всех перестановок его электронов. Используя теорию групп, Вигнер разработал теорию спектра атомов с любым числом электронов.
До этого момента его работа шла в традиционном русле классической физики. Но все по-настоящему захватывающее творилось в квантовой теории. Тогда Вигнер и принялся за главный труд своей жизни — применение теории представлений групп к квантовой механике.