Киленьи родился в Венгрии, учился музыке сначала у Пьетро Масканьи в Риме, а затем в консерватории в Кельне. 22-летним юношей он приехал в Соединенные Штаты, поступил в Колумбийский университет; написанная им дипломная работа позволила ему получить так называемую стипендию Мозенталя и заняться по окончании университета научными исследованиями. При поступлении в университет Киленьи, чтобы материально поддержать себя, играл на скрипке в оркестре Уолдорф-Астория, в котором Хамбитцер был пианистом. Много лет спустя Киленьи стал широко известен как дирижер оркестров нью-йоркских кинотеатров, а также как композитор и музыкальный постановщик, работающий для различных киностудий Голливуда. Его сын, названный в честь отца Эдвардом, стал известным пианистом и преподавателем.
Как-то в 1915 году Хамбитцер подошел к Киленьи и попросил его взять к себе в ученики по классу гармонии и теории Гершвина. "Этот юноша не только талантлив, — сказал Хамбитцер, — он по-настоящему влюблен в музыку и по-настоящему хочет учиться. Скромность, с которой он приходит на мои уроки, уважение и благодарность, с которыми он выслушивает все советы и рекомендации, — все это взволновало и необычайно тронуло меня. Он хочет серьезно изучать гармонию, и в связи с этим я сразу же подумал о тебе".
Киленьи стал вторым из двух самых главных учителей Гершвина, хотя были и другие педагоги, занятия с которыми тоже были очень полезны. Но сам Гершвин всегда считал, что именно Хамбитцер и Киленьи сыграли самую главную роль в становлении его музыкального таланта, и до конца своих дней чувствовал себя перед ними в неоплатном долгу. С Киленьи Гершвин занимался в общей сложности пять лет, но и потом, когда занятия прекратились, он время от времени разыскивал своего учителя, чтобы спросить у него совета.
В течение первых восьми месяцев Гершвин занимался два раза в неделю. Киленьи хорошо помнит свое первое впечатление от нового ученика. Это был серьезный, тихий, слегка застенчивый молодой человек, с выражением какой-то грусти на лице. Гершвин почти ничего не знал о теории музыки, и Киленьи начал с самых азов. Потом пошли уроки по полифонии, транспонированию, модуляции и инструментовке. Через три года Киленьи стал приглашать на эти уроки музыкантов из оркестра для того, чтобы они сыграли и продемонстрировали его ученику некоторые основные элементы исполнения партий на наиболее важных инструментах симфонического оркестра. На следующий год Киленьи показал Гершвину, как делается аналитический разбор музыкальных произведений, таких как Восьмая симфония Бетховена или его же "Весенняя соната", для того, чтобы проникнуть в творческую лабораторию композитора, понять, как и почему он применял те или иные приемы, увидеть технику употребления гармоний и т. д. Так Гершвин детально изучил многие известные произведения Гайдна, Дебюсси и Рихарда Штрауса.
До сих пор сохранились тетради Гершвина. Из них прекрасно видно, как точно и грамотно велись записи, в какой безукоризненной чистоте они содержались. Из них также видно, что, узнав какие-то основные правила, Гершвин часто пытался разработать свои собственные идеи, но в направлении прямо противоположном общепринятому. И в этом он всегда находил поддержку своего учителя. Хотя Киленьи и настаивал на том, что сначала необходимо изучить все существующие стили, он очень терпимо и даже снисходительно относился к тому, что его ученик старался нарушать их.
Киленьи также с сочувствием и пониманием относился к карьере Гершвина в Тин-Пэн-Элли. Более поздние учителя Гершвина и другие музыканты относились к этому иначе: они считали, что он должен полностью посвятить себя сочинению серьезной музыки. Более того, Киленьи хорошо понимал (и сказал об этом в 1919 году), что популярная музыка может оказаться кратчайшим путем к пониманию Гершвином своих более серьезных задач. "Ты столкнешься с теми же трудностями, с которыми сталкиваются все американские композиторы, пытаясь добиться того, чтобы их произведения исполнялись, — говорил ему Киленьи, и это тогда, когда американцев вообще исполняли очень редко. — Если ты добьешься успеха как сочинитель популярной музыки, ты станешь известным, это приблизит тебя к твоей цели, потому что тогда дирижеры будут приходить к тебе и заказывать серьезную музыку тоже".