В 1739 году в Хайнбурге побывал Георг Ройттер из Вены, придворный композитор и капельмейстер в соборе св. Стефана, еще совсем молодой музыкант (один из представителей ранней венской школы), он набирал мальчиков в капеллу собора и, услышав Гайдна, выделил его для своей цели. В 1740 году восьмилетний Гайдн попал в Вену, под начало Ройттера. Он стал певчим капеллы собора, жил и учился в канторате при церкви вместе с другими мальчиками, пел дискантом в хоре, иногда и при императорском дворе, обучался игре на скрипке и клавире, пытался сочинять. Жилось ему, как и его товарищам, незавидно: они очень утомлялись от репетиций и длительных служб, их скудно кормили, не стеснялись даже затрещинами. Ни Ройттер, ни кто-либо другой из старших музыкантов не уделял им необходимого внимания. Это была тяжелая, трудовая и голодная юность. В соборе св. Стефана и при дворе, где выступала капелла Ройттера, Гайдну довелось тогда переслушать много музыки. Он узнал, конечно, и новые произведения венских композиторов, и итальянскую оперу, и сочинения немецких музыкантов, исполнявшиеся в Вене. Ему захотелось самому сочинять, но Ройттер, едва вникнув в это, предоставил его собственным силам. Как ни богаты могли оказаться юношеские впечатления Гайдна от Вены с ее художественной культурой, ему зачастую, надо полагать, было попросту не до них.
В 1749 году, когда у Гайдна ломался голос, его вышвырнули из капеллы, и он, в восемнадцатилетнем возрасте, был полностью предоставлен самому себе. Последующие десять лет стали для него суровым временем, когда в бедности, безвестности и жизненных испытаниях мужал его характер и окончательно определялось его призвание композитора. В особенности беспросветны были первые годы самостоятельной жизни, хотя ни радость музыкальных занятий, ни чувство юмора и тогда не покидали молодого музыканта. Гайдн бедствовал, остро нуждался, не имел пристанища, пока ему не давали приют или не помогали найти жилье добрые знакомые. Первые его заработки оказались связаны с уроками музыки, которые он нашел для себя как учитель пения и игры на клавире, и с участием в качестве скрипача в небольших ансамблях, выступавших на вечеринках, во время танцев, в ночных серенадах. Последнее заставило его окунуться в музыкальный быт Вены, далекий от придворных празднеств и спектаклей, равно как и от торжественной атмосферы в соборе св. Стефана. Известный венский комик И. Й. Ф. Курц, актер и создатель фарсов о приключениях Бернардона, предложил как-то Гайдну сочинить музыку к пьесе «Хромой бес», которую Курц написал на сюжет одноименного романа А. Р. Лесажа. Это произведение, нечто вроде комической оперы или венского зингшпиля, было исполнено зимой 1752 года в Кернтнертортеатре и имело успех. Музыка не сохранилась.
Гайдн, однако, даже в те бесприютные годы не мог ограничиться музыкальными интересами подобного рода. Большое впечатление на него тогда произвели клавирные сонаты Ф. Э. Баха, которые он тщательно изучал, найдя в них, видимо, много нового для себя. В самом деле это была наиболее новая и одновременно наиболее серьезная инструментальная музыка из того, что сочинялось немецкими композиторами в середине XVIII века. Обращался Гайдн и к теоретическим трудам немецких авторов, штудируя И. Маттезона («Совершенный капельмейстер») и И. Й. Фукса («Gradus ad Parnassum»). Впоследствии он не преминул отметить, что многим обязан Ф. Э. Баху. Методическая работа Фукса, очевидно, интересовала Гайдна в связи с его занятиями полифонией.
В 1753 году известный неаполитанский оперный композитор Н. Порпора, будучи уже весьма пожилым, оказался в Вене, где он пользовался большим авторитетом, давая уроки пения, и общался с избранным кругом музыкантов. Гайдн пользовался его советами по композиции и в благодарность за это служил ему аккомпаниатором во время уроков пения. Порпора был опытнейшим оперным композитором и не менее опытным учителем. Как «маэстро» он обращался с Гайдном несколько свысока, порою даже грубо, но Гайдн все же считал занятия с ним полезными. Впрочем, на творчестве Гайдна эта итальянская школа совсем не сказалась, разве лишь впоследствии он ощутил ее, когда сочинял итальянские оперы.
Постепенно молодой Гайдн вошел в музыкальные круги Вены, познакомился с Метастазио, Глюком, Вагензейлем. Его стали ценить любители музыки. Так, в доме одного из богатых венских чиновников К. Фюрнберга Гайдн участвовал как скрипач в небольших музыкальных ансамблях, для домашних концертов в его поместье создал свои первые струнные трио, а затем ряд квартетов и других произведений. В 1759 — 1760 годах Гайдн уже являлся композитором и капельмейстером в доме графа Й. Ф. Морцина, который имел свою инструментальную капеллу. Для нее была написана в 1759 году первая симфония Гайдна. Композитор смог наконец непосредственно работать с оркестром, писать для него музыку, выверять ее в подготовке к исполнению и исполнять в собственной интерпретации. Имение Морцина находилось неподалеку от Пльзеня: Гайдн снова имел возможность общаться не только с австрийцами, но и с чехами.