Зачастую более откровенными, чем записи Ассамблеи, являются письма, которые Виктор писал Ивонне Фицрой, бывшей актрисе и медсестре, приехавшей в Индию в 1920 году в качестве личного секретаря жены лорда Рединга, и в которых он излагал свои мысли об Индии и выборе, стоящем перед ней. Дружба Виктора с ней была необычайно близкой - он подписывал все свои письма к ней как "папа" - и когда она вернулась в Англию в 1926 году, он предоставил ей в пользование Вест-Грин-Хаус в Хэмпшире, величественное поместье, которое он приобрел, но редко посещал, и где она жила до своей смерти в 1971 году. Письма состояли из политических и экономических наблюдений, а не откровенных романтических заявлений, и неизвестно, был ли у них роман; как мы увидим, Виктор наслаждался обществом красивых, гламурных женщин, похоже, только из-за их красоты и гламура. В письме 1923 года он рассказал ей о своих первых дебатах на Ассамблее в Дели, признавшись, что ничего не знает об искусстве дебатов, никогда не ступая в Палату общин, но все равно содрогнулся от неубедительного выступления Блэкетта. Его письмо изобиловало подробностями о работе Ассамблеи, настолько, что ему стало жалко, что она его читает:
Бедный ты. Как я могу доставлять тебе свои стоны. А с учетом того, что на улице льет дождь и я пробую новый портативный "Ремингтон", какой у тебя шанс? Возможно, именно поэтому ты получишь две партии чулок. Ты их заслужила.
Ваш
Папа
Его критические замечания в адрес правительства касались вопросов, непосредственно связанных с торговлей и финансами: например, акциз на соль или правовой статус Банка Альянса, а также его bête noir - стоимость рупии. Он сказал Ивонне, что предложенная ревальвация принесет выгоду его семье, но будет противоречить национальным интересам Индии, поэтому он решительно выступает против нее. Он не согласился с ее мнением, что слишком много воевал с вице-королем, и утверждал, что в основном воевал с министерством финансов. Его критические замечания не всегда находили отклик в СМИ и в Ассамблее. В письме, написанном в газету The Times of India, утверждается, что сэр Виктор и другие члены его лоббистской группы, Индийской валютной лиги, просто действовали от имени владельцев мельниц. В письме высмеивается так называемая симпатия Виктора к индийским сельхозпроизводителям и утверждается, что эти "хлопковые магнаты в прошлом делали все, что было в их силах, чтобы вырвать у бедных сельхозпроизводителей как можно больше денег". Та же газета раскритиковала "жалкий вид сэра Виктора Сассуна в Палате представителей.... Он настоял на том, чтобы занять свое место в серой шляпе" - театральный жест, призванный подчеркнуть "нелепую неопределенность Ассамблеи".
Виктор вышел из Ассамблеи в конце 1923 года, но вернулся на второй трехлетний срок после того, как лорд Рединг покинул Индию в 1926 году. Он не доверял движению Свадеши, которое верило в самоуправление Индии и призывало покупать товары индийского производства, а не британский импорт, а также сомневался в Махатме Ганди и его тактике. Несмотря на то, что забастовки на его фабриках раздражали его и делали нетерпеливым, он был склонен слишком упрощать причины недомогания Индии. Он был убежден, что все проблемы исходят от коммунизма, который практически захватил профсоюзное движение в Бомбее благодаря помощи из-за рубежа, а его противники живут в страхе перед собственной жизнью.
В отличие от компании David Sassoon & Co., которая постепенно уходила из Индии, деятельность E. D. Sassoon в период с 1914 по 1924 год характеризовалась значительным увеличением не только количества ткацких станков, но и инвестиций в оборудование и фабрики. После этого начались проблемы. На собрании акционеров фабрики E. D. Sassoon было принято решение о сокращении капитала и прав держателей обыкновенных акций. Крики "Позор, позор!" сопровождали выход из зала собрания некоторых акционеров, недовольных тем, как руководство управляет компанией. Один из индийских акционеров сказал Виктору: "Сассуны были раджами Индостана, и люди им доверяли", но он утверждал, что схема председателя совета директоров была просто защитой тех, кто имел привилегированные акции - семьи Сассун. Поскольку конкуренция росла как в Индии, так и за рубежом (в основном в Японии), Виктор неоднократно бил тревогу в Ассамблее. В конце 1927 года он предвидел войну за демпинг между Индией и Китаем; он утверждал, что власти Индии относятся к мельничной промышленности с пренебрежением и серьезно рискуют, поступая таким образом. Он сравнивал отрасль с "раненым, лежащим на дороге" и предупреждал, что если не защитить условия, то отрасль сильно пострадает.