В городе на Неве мальчик начал заниматься в Доме художественного воспитания детей по классу рояля у преподавателя А. С. Замкова. В 1935 году 12-летний Исаак принял участие в концерте молодых дарований в Большом зале Ленинградской филармонии. Юный пианист в сопровождении оркестра филармонии блестяще исполнил Первую часть Первого концерта Шопена. Шварца заметил выдающийся музыкант и педагог профессор Леонид Владимирович Николаев, и Исаак начал брать у него уроки, не оставляя занятий у А. С. Замкова.
9 декабря 1936 года отца Исаака, едва оправившегося после перенесенного инфаркта, арестовали органы НКВД. После изнурительных допросов в марте 1937 года его приговорили к пяти годам лишения свободы за «антисоветские разговоры» и сослали на Колыму, где он вскоре погиб. Летом того же 1937 года семью «врага народа» сослали в Киргизию в г. Фрунзе, (нынешний Бишкек). Рахиль Соломоновна устроилась работать на швейную фабрику, а 14-летний Исаак, чтобы поддержать семью материально, начал давать частные уроки игры на фортепиано детям местных чиновников, работал в летнем кинотеатре тапером. «Однажды сижу, долблю по клавишам разбитого рояля под немую картину, – рассказывал позже знаменитый композитор. – А шел тогда последний сеанс, у меня уже сильно болели руки. Приходилось играть во всю мощь, ведь никаких усилителей тогда не было. А к каждой картине я тогда придумал свою музыку, не осознавая, что это – музыкальное сочинение. Вдруг подходит ко мне высокий и видный дядя, целует в макушку и говорит: “Ты, мальчик, далеко пойдешь”. У меня было ощущение, что он только что сошел с экрана. Оказывается, это был известный артист кино Коваль Самбурский. Он играл в картине “Человек из ресторана”, мною только что озвученной. Коваль пришел на последний сеанс, и ему очень понравилось, как я импровизировал».
В 1938 году Шварц стал брать уроки фортепиано и композиции у замечательного педагога, ставшего потом знаменитым, В. Г. Фере. Мальчик на слух подбирал мелодии, пробовал себя в сочинительстве музыки. В последующие годы ссылки он приобрел профессионально ценные навыки, работая концертмейстером в Киргизском государственном театре.
Во время Великой Отечественной войны Исаак руководил хором и оркестром Красноармейского ансамбля песни и пляски Фрунзенского военного округа. В 1943 году он женился, вскоре родилась дочь Галина.
Во Фрунзе Шварц познакомился с сестрой Д. Д. Шостаковича, Марией Дмитриевной, пианисткой, тоже сосланной. Когда в 1945 году срок ссылки закончился, семья Шварца вернулась в город на Неве. По рекомендации сестры Шостаковича Дмитрий Дмитриевич выслушал исполнение Исаака и обратился к профессору Ленинградской консерватории Б. А. Арапову с просьбой принять талантливого музыканта, несмотря на его слабую теоретическую подготовку, в свой класс. Так в 1945 году Шварц поступил на композиторский факультет и в 1951-м получил диплом композитора, хотя обучение стоило дорого. Студент не понимал, почему его освободили от платы за учебу, а потом оказалось, что деньги платил Д. Д. Шостакович. Чтобы прокормить семью, Шварц на каникулах подрабатывал аккордеонистом в пионерском лагере и Доме отдыха под Ленинградом.
Занимаясь у Б. А. Арапова, Исаак Шварц написал Сонату для скрипки и фортепиано (соль минор), струнный квартет, романсы на стихи Пушкина, Тютчева, Фета, Полонского, Гейне, Вариации для фортепиано, Арию для скрипки с фортепиано. К сожалению, он проучился у него всего три года. Когда вышло постановление партии об опере «Великая дружба» В. Мурадели и композиторах «антинародного направления» Шостаковиче, Прокофьеве, Хачатуряне, Шабалине и Мясковском, стали выгонять с работы и профессоров консерватории. Как считала коммунистическая власть, они недостаточно патриотично учат советских студентов. Вместо Арапова учителем Шварца стал талантливый педагог Орест Александрович Евлахов. Под его руководством студент написал кантату «Дума о Родине» на стихи А. Чепурова для солиста (баса), хора и симфонического оркестра в трех частях, балладу для баритона с оркестром «Солдат и вьюга» на стихи М. Светлова, романсы на стихи В. Орлова, С. Щипачева, а также Первую часть Симфонии фа минор. Это произведение, хорошо принятое слушателями, с момента премьеры 6 ноября 1954 года, неоднократно исполнялось в Большом зале Ленинградской филармонии. В 1955 году симфония прозвучала на VIII Всесоюзном пленуме правления Союза композиторов в Москве. Тогда же И. И. Шварц был принят в Союз композиторов СССР.
В последующие годы Исаак Иосифович написал Молодежную увертюру для симфонического оркестра (1957), балеты «Накануне» и «Страна чудес», поставленные в Ленинградском Государственном академическом театре оперы и балета имени Кирова. Вот как вспоминал знаменитый композитор о спектакле «Страна чудес»: «И все бы шло хорошо – совершенно гениальная хореография, но мне не повезло – исполнявшие главные роли стали потихоньку удирать из СССР – сбежал Нуреев, уехала Наташа Макарова – и постепенно балет сняли».