По своим убеждениям Джозеф был ближе к Ингерсоллу, чем к Бичеру, его иудаизм был скорее культурным, чем духовным, но он оставался яростно преданным своему народу, используя свое политическое и общественное влияние для привлечения поддержки еврейских дел и благотворительных организаций. В течение многих лет он был попечителем больницы Маунт-Синай, которая изначально называлась Еврейской больницей, когда была основана в 1852 году для лечения еврейского населения Нью-Йорка, которое в некоторых случаях сталкивалось с дискриминацией в городских христианских больницах. Он также возглавлял Немецко-еврейское благотворительное общество, в равной степени как общественное, так и благотворительное, которое проводило банкеты и гала-концерты для сбора средств, распределяемых среди различных еврейских организаций. В числе благотворительных акций общество снабжало углем обедневшие семьи иммигрантов и иногда предоставляло им средства, чтобы продолжить миграцию на малонаселенный Запад и из перенаселенного Нью-Йорка, где более состоявшиеся и ассимилированные евреи опасались, что их новоприбывшие единоверцы - необразованные и без гроша в кармане, ютившиеся в полуразрушенных домах Нижнего Ист-Сайда, - могут вызвать антисемитские настроения.
Группа Селигмана отделилась от более старой благотворительной организации, Еврейского благотворительного общества. Этот раскол отражал более серьезные разногласия между немцами и остальной частью еврейской общины Нью-Йорка, особенно сефардами (евреями, ведущими свою родословную с Пиренейского полуострова), которые доминировали в руководстве благотворительной организации. Раскол был основан отчасти на религии, а отчасти на классовой принадлежности. Немцы привезли с собой в Америку реформистский иудаизм - противоречивое религиозное движение, зародившееся в храмах Берлина и Франкфурта. Европейские евреи все чаще жили за пределами гетто, в которые их загоняли на протяжении многих поколений, все больше и больше проживая среди христиан, а в некоторых случаях теряя связь со своей верой или переходя в христианство. Реформистское движение считало, что для выживания иудаизма необходимо адаптировать традиционные обряды к современным условиям. "Все, что делает нас смешными перед нынешним миром, можно и нужно отменить", - отмечал один видный реформистский раввин. Реформистские евреи не покрывали головы ермолками. Они не соблюдали диетические законы. Они проводили свои службы на немецком, а не на иврите. В некоторых случаях они не обрезали своих сыновей. Такие практики были кощунственны для ортодоксальных евреев - таких, как отец Якоба Шиффа, - которые считали, что реформаторы до неузнаваемости опошляют их религию. Нью-йоркские евреи-сефарды, чьи корни в городе уходят в те времена, когда остров Манхэттен еще был голландской колонией, были обеспокоены либеральными религиозными практиками немцев. Их также отталкивала показная роскошь немецких нуворишей. Для них Джозеф Селигман навсегда остался бы простым торговцем.
Когда немцы отделились, чтобы создать собственное благотворительное общество, объявив, что эта организация будет служить только немецким евреям, а не всей общине, они лишь подтвердили низкое мнение сефардов о них. Соперничество достигло запредельных масштабов: в 1850-х годах на совместном юбилейном обеде, на котором присутствовали члены обеих групп, ортодоксальные евреи потребовали, чтобы немцы надели ермолки во время заключительного благословения. Когда они отказались, сефарды бросили носовые платки и салфетки, пытаясь насильно прикрыть головы богохульников. Вечер закончился бесславно. Во время выступления Самуэля Адлера, раввина реформистской общины Храма Эману-Эль, который встал, чтобы разобраться в разгоревшейся религиозной полемике, один ортодоксальный еврей встал и свистнул в знак протеста. Толпа немцев обрушилась на него, окружила и подвергла жестокому избиению.
Внешние события постепенно подталкивали эти враждующие группировки друг к другу. Одним из факторов стал финансовый кризис 1857 года и последовавшая за ним депрессия: поскольку пожертвования иссякли, стало еще меньше смысла в том, чтобы две организации с похожими целями конкурировали за ресурсы. Другим фактором стал международный спор, который объединил евреев всего мира, даже ссорящиеся благотворительные общества, в негодовании. В 1858 году папские власти конфисковали шестилетнего еврейского мальчика по имени Эдгардо Мортара из его дома в Болонье. В младенчестве Мортара тяжело заболел, и слуга тайно крестил его, полагая, что ребенок близок к смерти. Спустя годы, основываясь на показаниях слуги, инквизитор Болоньи приказал забрать Мортару из дома и передать под защиту церкви, где он был воспитан как католик. Несмотря на международный протест и осуждение - не говоря уже о мольбах семьи Мортары вернуть им сына, - Папа не сдался.