Исаак занимался в Доме художественного воспитания детей по классу рояля у преподавателя А.С. Замкова. В 1935 году в жизни 12-летнего Шварца произошло очень важное событие. Он принял участие в концерте молодых дарований в Большом зале Ленинградской филармонии — в сопровождении оркестра филармонии блестяще исполнил 1-ю часть Первого концерта Шопена. Юного пианиста заметил выдающийся музыкант и педагог профессор Леонид Владимирович Николаев. Шварц начал брать у него уроки.
9 декабря 1936 года Иосиф Евсеевич, едва оправившись после перенесённого инфаркта, был арестован органами НКВД. Этот день стал роковым для всей семьи. После изнурительных допросов в марте 1937 года был осуждён по 58-й статье за «антисоветские разговоры». Из заключения он не вернулся — погиб в лагере. А вся семья была выслана в Киргизию. Матери Исаака Рахили Соломоновне пришлось из учительницы «переквалифицироваться» в работницы швейной фабрики.
Во Фрунзе судьба свела Шварца со многими образованнейшими людьми (среди «спецпереселенцев» были филологи, историки, философы), общение с которыми обогатило его на всю жизнь. В их числе была сестра Д.Д. Шостаковича Мария Дмитриевна, пианистка, сосланная по аналогичному поводу. Эти встречи во многом предопределили будущую работу композитора над музыкальным оформлением спектаклей и кинофильмов по произведениям русских классиков — Достоевского, Пушкина, Островского, Гончарова, Тургенева, Чехова, Толстого, Горького. В 1938 году Исаак Шварц начал брать уроки композиции у замечательного педагога и крупного композитора, впоследствии профессора Московской консерватории Владимира Фере. Чтобы помочь семье прокормиться, 14-летний Исаак стал давать частные уроки игры на фортепиано детям местных чиновников. Учась в школе и давая по 3–4 урока в день, он выкраивал время для самостоятельных музыкальных занятий, как только удавалось найти где-либо «порядочный» инструмент, что было крайне непросто в условиях ссылки. В последующие годы ссылки Шварц приобрел ценные профессиональные навыки, работая концертмейстером в Киргизском государственном театре оперы и балета. Во время Великой Отечественной войны он руководил хором и оркестром Красноармейского ансамбля песни и пляски Фрунзенского военного округа. В 1943 году женился, вскоре родилась дочь Галина.
Когда в 1945 году срок ссылки окончился и семья возвратилась в Ленинград, Шостакович обратился к профессору Ленинградской консерватории Борису Александровичу Арапову с просьбой принять талантливого музыканта, несмотря на его слабую теоретическую подготовку, в свой класс композиции на 1-й курс, с условием, что Шварц интенсивно займется теоретическими дисциплинами. Исаак Иосифович вспоминает, что при первой же встрече Дмитрий Дмитриевич отнесся к нему с большой теплотой и участием, а в дальнейшем следил за развитием его творчества, помогал советами, радовался его удачам.
Занимаясь у Арапова, Исаак Шварц написал целый ряд великолепных произведений, лучшими из которых явились Соната для скрипки и фортепиано, привлекающая горячей «общительностью» высказывания, сочными контрастами лирических и жанровых музыкальных образов, естественной свежестью мелодики и гармонического языка, а также романсы на стихи Пушкина, Тютчева, Фета, Полонского, Гейне. Соната и романсы исполнялись знаменитыми концертантами — скрипачом Михаилом Вайманом, певцами Сергеем Шапошниковым и Надеждой Вельтер.
Последние два консерваторских курса Шварц заканчивал под руководством профессора Ореста Александровича Евлахова, сотрудничество с которым таже оказалось плодотворным.
В эти годы им написана кантата «Дума о Родине» для баса, хора и симфонического оркестра на стихи А. Чепурова, баллада для баритона с оркестром «Солдат и вьюга» на стихи М. Светлова, романсы на стихи В. Орлова, С. Щипачёва, начата работа над Симфонией фа минор.
Симфония принесла Шварцу серьезный успех. Это лирико-эпическое повествование композитора о молодом человеке, своем современнике, которому присущи горячность и непосредственность юности, активная действенность помыслов, благородство чувств. От романтической порывистости, душевной тревоги, напряженных поисков к мужественной решимости, волевой энергии — таков путь эмоционального развития музыки. Раскрывая внутренний мир героя, автор рисует картины современной жизни. Отсюда и органичная связь мелодики симфонии с интонациями советских массовых песен, с народной музыкой. Симфония была тепло принятое слушателями, с момента премьеры 6 ноября 1954 года неоднократно исполнялась в Большом зале Ленинградской филармонии крупнейшими дирижерами — Б. Хайкиным, А. Янсонсом, К. Элиасбергом, Н. Рабиновичем, К. Зандерлингом, Э. Грикуровым. В 1955 году симфония прозвучала на VIII Всесоюзном пленуме правления Союза композиторов в Москве (дирижер А. Гаук), на котором Исаак Шварц был принят в Союз композиторов. В 1958 году была издана партитура симфонии.