Фамильный особняк на улице Чайковского также был построен на деньги Варвары Петровны, но сама хозяйка здесь практически не проживала. Оставив роскошный дом на супруга и дочерей, Варвара Петровна с 1904 года проживала отдельно от семьи в Париже. После отъезда во Францию брак Кельхов стал разваливаться, но Александр Фердинандович даже после развода в 1914 году продолжал вести дела бывшей супруги и получать от нее деньги на содержание семьи и фамильного дома. Попечительство над благотворительными заведениями и даже содержание матери Варвары Петровны также легли на плечи бывшего супруга. Еще до начала Первой мировой войны доходы семьи Кельхов постепенно сокращались, и в 1914 году Александру Фердинандовичу пришлось расстаться с фамильным особняком.
Предприятия «Промышленности всей Сибири» и товарищества Ленско-Витимского пароходства были ликвидированы. Вскоре Кельх женился второй раз, на портнихе Александре Ивановне Горкиной, и в 1917 году отправился в поисках лучшей судьбы на Дальний Восток, где несколько лет проработал на химическом заводе рудников Кузнецкого бассейна, но уже в 1923 году он вернулся в родной Петроград. В это время доход Кельха складывался из денежных переводов Варвары Петровны и зарплат его новой супруги и падчерицы, которые в то время работали чернорабочими на заводе «Невгвоздь». Изредка ему удавалось подзаработать, продавая папиросы. Ехать к бывшей жене в Париж он отказывался. Вскоре Александр Фердинандович таки находит достойную работу конторщика в организации «Рудметаллторг». Но после прихода 1930-х годов Кельх, как представитель дворянского рода и богатейшей семьи дореволюционного Петербурга, стал одной из многих жертв сталинских репрессий и умер в трудовых лагерях Сибири.