Пропагандистская деятельность пробудила у Джонсона интерес к архитектурному творчеству. Поэтому в 1940 году он снова поступил в Гарвардский университет, чтобы под руководством Марселя Брейера получить подготовку архитектора и целиком посвятить себя этой профессии. В 1943 году он окончил архитектурный факультет университета.
После Второй мировой войны, в конце которой Джонсон служил в американской армии, он возвратился в нью-йоркский Музей современного искусства. Здесь он работал до 1954 года. В 1947 году Филип Джонсон выпустил монографию о творчестве Миса ван дер Роэ. Именно творчество Миса вдохновляло Джонсона на архитектурном поприще.
Первые собственные сооружения Джонсона и по общему замыслу, и в деталях можно принять за разработки идей или неосуществленных проектов его знаменитого учителя. К этому времени Мис ван дер Роэ уже в течение шести лет работает над одним из своих программных сооружений – домом Фэрнсуорт – стеклянным объемом, заключенным между двумя плоскостями перекрытий, поднятыми над землей на восьми столбах. Под впечатлением этого сооружения Джонсон в 1949 году строит собственный «Стеклянный дом» в Нью-Канаане.
Для Джонсона, еще не уверенного в своих силах, пожалуй, стало неожиданностью то, что «Стеклянный дом» сразу нашел отзвук у архитектурной критики. В последующие годы он проектирует главным образом индивидуальные загородные жилые дома.
В 1956 году в работах у Джонсона появляются явные признаки освобождения от влияния творчества Мис ван дер Роэ. В этом году он строит дом Боссона, который автор считает своим лучшим произведением этого типа. Черты традиционного японского дома переплетаются здесь с приемами композиции итальянских вилл. И уже ничего здесь не остается от единого замкнутого «универсального пространства» Миса.
Постепенно от индивидуальных жилых домов Джонсон переходит к проектированию крупных зданий и комплексов. Первым серьезным шагом на этом пути была синагога в Порт-Честере, штат Нью-Йорк (1956). Ее четкий каркас, такой же, как у «Стеклянного дома», заполнен глухими стандартными белыми блоками, что придает зданию черты замкнутости и статичности. Пластическим контрастом основному объему служит овальный необарочный объем вестибюля. Как видно, синагога – продукт использования идей не только современников, но и результат обращения к приемам барокко и классицизма.
По мнению исследователей, его следующий проект – университет Св. Томаса в Хьюстоне (1957) – это смесь «промышленного классицизма» Миса с «романтическим классицизмом» прошлого столетия.
Музей Вильяма Проктора в Ютике (1956—1960) рассматривается как последний «мисовский» проект Джонсона. Музей в Ютике консервативен и статичен и по внешнему решению образа. В нем проступают черты неоклассицизма нашего времени, которые станут определяющими для многих последующих произведений второго периода творчества архитектора.
В эти годы Джонсон начал отходить от принципов своего учителя. Как ни странно, этот процесс ускорила их совместная работа над проектом высотного здания Сигрэм в Нью-Йорке. Влияние идей самого Миса было здесь подавляющим. Самостоятельным вкладом Джонсона была лишь отделка ресторана «Четыре времени года». В остальном же учитель подавил своего ученика. И это понятно: в здании Сигрэм суммировался огромный опыт мастера, оно явилось мощным аккордом в длительной целеустремленной эволюции Миса ван дер Роэ. Но это было уже не начало, а конец пути. И Джонсон, подразумевая, очевидно, определенный этап развития, был по-своему прав, заявив, что здание Сигрэм олицетворяет для него конец современной архитектуры.
Дальнейшая эволюция архитектора Джонсона не была бурной. Произведения Джонсона этого периода свидетельствуют о все более настойчивых экскурсах в прошлое. Однако как ни необычны становились потом их формы, их всегда отличала четкость и уравновешенность плана, монументальность и выразительность объема, тщательность отделки и другие черты, унаследованные от Миса ван дер Роэ.
«Церковь без крыши» в Нью-Хармони и ядерный реактор в Реховоте, законченные в 1960 году, продемонстрировали начало нового этапа творчества Джонсона. Расположенный в поэтическом уголке природы, прямоугольник церкви представляет собой обширный зал под открытым небом, обнесенный глухой стеной. В его центре, над скульптурой работы Якова Липшица, – необычный по форме купол, выполненный из клееной фанеры и покрытый деревянным гонтом.
Музей западного искусства в Форт-Уэрте, штат Техас (1961), весьма интересен своим генеральным планом. Если, находясь на последней террасе перед музеем, посетитель захочет оглянуться, он увидит перед собой в отдалении на фоне этой грандиозной системы террас и лестниц панораму самого Форт-Уэрта с его зубчатым силуэтом небоскребов – картину, которая, по словам очевидцев, является самым лучшим «экспонатом» музея.