Придворному банкиру не удалось выдать замуж двух дочерей – Юлию и Каролину: камер-фрау супруги Александра II, они так и остались в девицах.
Один из сыновей барона скончался при его жизни. Переживший брата Федор (Фридрих) Александрович Ралль, унаследовавший от своих родителей талант и любовь к музыке, стал гордостью барона А.А. Ралля. Он был любимым учеником выдающегося пианиста того времени Дж. Фильда и виртуозно освоил игру почти на всех инструментах оркестра. Прослужив три года армейским офицером, Федор Александрович вышел в отставку, чтобы углубленно заняться музыкой. В особняке на набережной Мойки Федор Ралль почти ежедневно организовывал музыкальные вечера и концерты, в которых участвовали не только музыканты, певцы и композиторы Санкт-Петербурга, но и знаменитости из различных стран Европы. Федор Ралль был знаком и дружил с М.И. Глинкой, с братьями Лядовыми и успешно руководил военным оркестром в Дирекции императорских театров.
Благополучное немецкое семейство барона А.А. Ралля являло собой пример завидного трудолюбия, работоспособности и законопослушания – добропорядочной жизни людей, навсегда связавших свою судьбу с Россией.
Спокойно проходила, год за годом, их жизнь в стране, ставшей для них второй родиной. Казалось, ничто не предвещало каких-либо перемен в их размеренной петербургской жизни. Однако, как это иногда бывает, беда постепенно все же подходила к их благополучному дому. Друзья и знакомые А.А. Ралля единодушно считали, что начавшееся расстройство в делах опытного финансиста и преуспевающего биржевого предпринимателя, а затем и его полное банкротство, связаны полностью с особенностями его увлекающейся и весьма непростой натуры необычайно талантливого человека.
Супруги Ралль – Александр Александрович и Елена Николаевна – были страстными любителями музыки. Оба прекрасно владели игрой на фортепьяно и скрипке. Их дома на Английской набережной, 72, и на набережной реки Мойки, 108, превратились в одни из главных музыкальных центров Петрбурга.
XIX в. стал для столичной публики периодом безумного увлечения серьезной немецкой музыкой, и немалое значение в этом сыграло Филармоническое общество, образованное в 1802 г. при непосредственном участии и немалой финансовой поддержке А.А. Ралля. Александр Александрович, вдохновленный и возможностью познакомить петербургских меломанов не только с «невиданными и неслыханными» немецкими инструментами, но и с произведениями своих знаменитых соотечественников – И.С. Баха, Р. Кайзера, Г. Телемана и иных музыкальных немецких гениев, не задумываясь о последствиях, берет на себя трудные обязанности руководства этой довольно сложной и весьма дорогой музыкальной организацией.
Одновременно с этой немалой нагрузкой, требующей времени, барон А.А. Ралль довольно беспечно становится и финансовым директором, должным удовлетворять многочисленные затраты этой многофункциональной музыкальной организации, обязанной не только приглашать на гастроли в Россию знаменитых европейских музыкантов, но и оплачивать их транспортные расходы и немалые гонорары композиторам и исполнителям. Но страстный меломан Ралль тогда был на вершине успеха.
В 1824 г. А.А. Ралль и меценат князь Н.Б. Голицын в зале Филармонического общества на Невском проспекте, 30, организовали для любителей музыки первое в мире исполнение «Торжественной мессы» Бетховена. Чрезмерное, буквально фанатическое, увлечение придворного банкира музыкой и работой Филармонического общества в большой степени стало отвлекать барона А.А. Ралля от его основных профессиональных обязанностей и приводило порой к бесконтрольности при серьезных финансовых операциях.
Начиная с 1817 г. его сотрудники в банкирской конторе стали отмечать появившуюся у шефа невиданную ранее неаккуратность в делах. По воспоминаниям сослуживцев, их начальника «теперь раздражала необходимость скрупулезно следить за расчетами. Многие дела теперь постоянно откладывались, запутывались и подолгу оставались незакрытыми». Заграничные банкирские дома устали от его регулярной необязательности в делах. У Ралля постепенно появляются долги, отравляющие ему жизнь и ухудшающие настроение. Пытаясь спасти создавшееся положение и избавиться от нарастающих долгов, он начинает постепенно распродавать свое имущество, закладывать недвижимость и тем самым только больше запутывает и осложняет ситуацию.
В 1811 г. министр просвещения граф Алексей Разумовский предложил Александру I, в зачет долгов барона Ралля, приобрести его огромный участок и дом на набережной Мойки, 108, против Новой Голландии для возведения на его месте Педагогического института. Исполнению намерения тогда помешала Отечественная война 1812 г.