E. Д. Сассун тоже терял свой ярко выраженный багдадский колорит. В письме 1931 года от жены багдадского служащего в Шанхае к леди Эзре, дочери Флоры и Сулеймана, содержится просьба попросить Виктора дать ее мужу второй шанс после его увольнения и скорбь по поводу отдаления председателя: "Леди Эзра, здешние евреи не имеют никакого влияния на сэра Виктора Сассуна". В бизнесе все чаще появлялись посторонние люди или родственники, вышедшие замуж не по вере. Такие союзы могли пополнить ряды фирмы - Вайолет, кузина Виктора, вышла замуж за капитана Дерека Баррингтона Фицджеральда, офицера из старинной ирландской семьи, который был тяжело ранен во время войны и стал одним из самых доверенных лейтенантов Виктора и старшим директором офиса фирмы в Лондоне, - но они также сигнализировали об изменении ее характера.
После редкой встречи в 1937 году с некоторыми лидерами общины багдади в Бомбее по поводу возможностей работы в компании Виктор напомнил им, что главным критерием при приеме на работу является не религия, а заслуги - "Если любой еврей был эффективен, ему давали работу" - и что его фирма "не является благотворительным учреждением для его единоверцев". Связь между фирмой и верой ее руководства, а также между ее руководителями и их верой постепенно ослабевала на протяжении всего двадцатого века. Якоб отказался от практики закрывать бизнес по субботам, а переезд из Индии в Шанхай, где еврейская община была меньше, а связи семьи с ней - менее прочными, только ускорил этот процесс.
По крайней мере, поначалу очень публичный крестовый поход Виктора против налоговой системы Индии и то, как он тщательно ограничивал время, проведенное в Британии, чтобы избежать ответственности там, сделали его интеграцию в шанхайское общество несколько нестабильной. Тайпаны (главы деловых кругов) Гонконга и Шанхая неизменно считали, что "Британская империя работает как клуб и что несправедливо пользоваться всеми привилегиями, не платя членских взносов", а именно налогов, и они не очень-то жаловали его уклонение от них. Предрассудки тоже сыграли свою роль. Пусть Виктор и не чувствовал себя связанным с Багдадом так, как его предшественники, но это не мешало ему относиться к окружающим с предубеждением. Когда на одной из вечеринок женщина поинтересовалась, как лучше добраться до дома, и он начал ей отвечать, ее подруга перебила: "А разве вы не ездите на верблюде?".
Однако игнорировать его было нельзя. По одной из оценок, стоимость активов, которые он перевел из Индии в Китай, составляет 28 миллионов долларов, или, по крайней мере, полмиллиарда долларов сегодня. Несмотря на проблемы Китая, Шанхай процветал: Виктор заметил стремительный взлет компании Hardoon и пришел к выводу, что инвестиции в кирпичи и раствор приносят значительную прибыль, поэтому развитие недвижимости стало для Виктора первоочередной задачей и хранилищем большей части этих 28 миллионов долларов. Он стал пионером высотных зданий, привлекая архитекторов и инженеров с Манхэттена и создавая новое предприятие под названием Cathay Land Company для строительства одних из первых небоскребов на Дальнем Востоке. Завершение строительства нового дома Сассуна, позже известного как Cathay Building, вызвало большой ажиотаж в Шанхае. Это было первое в городе одиннадцатиэтажное здание, построенное с использованием самых передовых строительных технологий того времени, на Бунде - главной улице Шанхая. Первый и второй этажи занимали офисы, которые сдавались в аренду, в основном медицинским и юридическим фирмам, а на третьем разместились компании E. D. Sassoon и Arnhold & Co. Верхняя часть здания, увенчанная медной пирамидой высотой 240 футов, использовалась как отель, задуманный как "Claridge's of the East", с этажом для частных обедов и банкетным залом. Верхний этаж стал пентхаусом Виктора (сегодня здание работает как Fairmont Peace Hotel, а пентхаус превратился в "Президентский люкс Сассуна"). Из своей спальни Виктор мог наслаждаться панорамным видом на гавань и город. Здание было спроектировано Джорджем Леопольдом "Тагом" Уилсоном из компании Palmer and Turner, где воплотилось его идеальное сочетание "пропорций, массы и формы с простым внутренним убранством, цветом и освещением".