При этом нельзя сказать, что отношения Уорхола с семьей были безоблачными. В детстве Энди ненавидел школу и был изгоем среди сверстников из-за болезненности и нелюдимости. И специфическая внешность уверенности в себе ему не добавляла. У него была очень бледная кожа, покрывавшаяся пятнами, стоило ему оказаться на солнце, и большой нос, который из-за проблем с сосудами к тому же постоянно был красным. В семье Энди ласково поддразнивали «красноносым». Поэтому в Нью-Йорке, лишь только заработав достаточное количество денег, Уорхол первым делом сделал пластическую операцию.
Уорхол довольно рано начал лысеть, поэтому стал носить парики, ставшие его своеобразной визитной карточкой. Энди заказывал свои парики в одном и том же месте, но потом часто «дорабатывал» их самостоятельно, обстригая и окрашивая. Однажды Уорхол рассказал, для чего он всегда появляется на людях в парике. По его словам, в этом случае люди всегда первым делом замечали именно парик, а не его самого. К тому же это давало ему возможность почувствовать себя человеком, не принадлежащим ни к одной эпохе, человеком, живущим вне времени. За годы жизни в Нью-Йорке Энди собрал более 50 париков. В конце концов он начал относиться к ним как к произведениям искусства и даже сделал серию снимков с париками.
Эксперименты с собственной внешностью были для Уорхола своеобразным камуфлирующим приемом, спасением от болезненной застенчивости. По этой же причине художник постоянно окружал себя людьми (об Энди говорили, что он обладает удивительной способностью собирать вокруг себя самых красивых людей Нью-Йорка). Он предпочитал передвигаться по улицам со свитой, потому что в этом случае ему было легче спрятаться. В группе друзей или обожателей он чувствовал себя не таким уязвимым, его невозможно было сломить, пока он был не один.
Самой большой страстью Энди Уорхола (кроме коллекционирования всего на свете) были тусовки. Он говорил, что, если бы в Нью-Йорке устраивали вечеринку в честь открытия общественного туалета, он пришел бы на нее первым. Любое мало-мальски значимое событие в жизни Большого Яблока не обходилось без его участия. Ходили слухи, что на некоторые тусовки он ходил сам, а на другие, проходившие в то же время, отправлял своих двойников в париках и темных очках. Таким образом художник мог присутствовать в нескольких местах одновременно, и никто не мог с полной уверенностью утверждать, где же был настоящий Уорхол.
А главной тусовкой Энди, конечно, была его «Фабрика». Студия художника стала меккой для маргиналов всех мастей. Ему были не слишком интересны богатые и знаменитые, его куда больше занимали трансвеститы, наркоманы и неудачливые актеры. На «Фабрике» ни на минуту не прекращалась жизнь. Здесь пили и употребляли наркотики, занимались сексом и вели задушевные разговоры, здесь же штамповались картины Уорхола и снимались его фильмы. Сам художник присоединялся далеко не ко всем развлечениям своей разношерстной свиты, но на правах доброго родителя великодушно позволял своим «детям» делать в огромном помещении с серебряными стенами все, что только могло прийти в голову.
Когда Валери Соланас впервые появилась на «Фабрике», она не поняла, почему все эти бездельники сидят в студии целыми днями, готовые вцепиться друг другу в глотки в борьбе за внимание великолепного Энди. Радикальная феминистка и мужененавистница, Валери, которую в детстве насиловал отец, которая жила в шалаше на берегу Гудзона, которая еще недавно была вынуждена торговать собой, которая едва не умерла после подпольного аборта, явно была не к месту среди ленивой и бесшабашной богемной публики. Однако они с Уорхолом явно что-то заметили друг в друге и стали общаться.
Соланас вручила Уорхолу свой сценарий под названием Up Your Ass и потребовала, чтобы он снял по нему фильм. Прочитав первые несколько абзацев, Энди согласился, но быстро передумал: «Название показалось мне замечательным, и я был в добродушном настроении, поэтому согласился продюсировать это, но пьеса была такая черная…» О своем обещании Валери художник благополучно забыл. В конце концов, на «Фабрику» свои сценарии тащили все кому не лень. От самой Соланас Уорхол тоже вскоре устал, особенно после того, как она издала свой манифест SCUM («Общество полного уничтожения мужчин») и стала приходить в студию в попытках продать несколько экземпляров.