Хотя сам Шифф не курил, для друзей он всегда держал в доме превосходные сигары и курительные материалы. Рядом со столовой в его доме в Си-Брайте имелась небольшая комната, не предназначенная для каких-либо определенных целей. Отчасти из-за того, что Шифф терпеть не мог, когда что-то не используется, а отчасти потому, что дело происходило в то время, когда мужчины не курили в присутствии дам, эту комнатку обставили как каюту корабля. В ней Шифф держал несколько своих любимых гравюр и фотографии своих ближайших друзей. Сюда он приводил друзей-мужчин и сидел с ними ровно двадцать минут. По истечении этого времени гостям предлагалось «присоединиться к дамам».
Однажды он спросил молодого друга, ответил ли тот на определенное письмо, и получил отрицательный ответ на том основании, что письмо было чисто официальным. Покачав головой, Шифф заметил, что положил себе за правило отвечать на все письма, и рассказал об Аврааме Линкольне, который однажды, гуляя с другом по Вашингтон-стрит, вежливо ответил на поклон проходившего мимо негра. Друг удивился, что президент кланяется «какому-то ниггеру», на что Линкольн ответил: «Неужели я позволю какому-то негру превзойти меня в обычной вежливости?»
Он не любил памятников в камне или бронзе. Когда в Нью-Йорке начали кампанию за сооружение памятнику барону и баронессе Гирш, Шифф выражал свое мнение не только в личных письмах, но и послал заметку в «Нью-Йорк тайме»: «Мое внимание привлекла брошюра с призывом от имени ряда известных людей, в которой просят вносить пожертвования на сооружение памятника покойным барону и баронессе Гирш.
Меня неоднократно спрашивали о причинах, по которым я воздерживаюсь от таких взносов. Несколько месяцев назад ко мне подошел один господин, тогда неизвестный мне, и просил меня войти в состав комитета, который возглавляет вышеназванную кампанию. Будучи лично знакомым с горячо оплакиваемыми бароном и баронессой, сотрудничая с Фондом Гирша по ряду различных дел и зная о намерениях, трудах и пожеланиях этих великих филантропов, я не колеблясь говорю: ничто не может быть дальше от их желаний, чем стремление к тому, чтобы их благородная жизнь была увековечена памятником из камня и железа. Более того, последняя просьба баронессы Гирш заключалась в том, чтобы над ее могилой не произносили ни речей, ни панегириков. Несомненно, благородная женщина имела в виду, что, если мир, которому они так помогли, не считает достойным памятником их замыслы и начинания, которые они с бароном постоянно воплощали в виде щедрых пожертвований, оказать им честь и увековечить их память не способны ни слова, ни памятники…»
Он хранил как сокровище записку от епископа Поттера, в которой тот одобрял его позицию.
Когда в 1904 г. начали кампанию по сооружению памятника генералу Армстронгу, Шифф занял точно такую же позицию и предложил, чтобы сумму, которую намерены были собрать на памятник, направили на учреждение стипендии или премии имени генерала Армстронга в Хэмптонском университете. А в 1914 г., когда предлагали соорудить памятник Гроверу Кливленду, он предложил подарить собранные средства Колумбийскому университету.
Шифф любил простоту и терпеть не мог всякого рода нарочитость и показуху. Так, у него никогда не было собственной яхты, как у многих его друзей. Летом, путешествуя в свое загородное поместье и обратно, он садился на регулярные суда «Атлантик Хайленде». Его активное неприятие публичной признательности или почестей, оказываемых ему при жизни, сохранялось в течение долгого периода времени. Только иногда и при весьма особых обстоятельствах он делал исключение из этого правила, хотя, несмотря на его личные чувства, его имя начиная со сравнительно раннего времени часто появлялось в газетах. Его часто называли одним из ведущих финансистов в мире и одним из величайших филантропов.
В 1898 г., когда один лондонский журналист попросил Шиффа предоставить сведения для статьи о нем, он ответил: «Я никогда не давал санкцию на то, чтобы обо мне писали». На следующий год, когда в нью-йоркской «Геральд» появилась статья о нем как о филантропе, с его портретом, он написал в редакцию: «Могу лишь сказать, что публикация крайне смутила меня». Он не разрешал публиковать содержание частных бесед и интервью с ним. Когда редакция одной филадельфийской газеты пожелала прислать к нему специального корреспондента, он отказался. В другом случае, когда газета предложила прислать к нему своего представителя и собрать биографические сведения о нем, он велел секретарю написать, «что о себе он никогда и ни с кем не говорит». Прочитав статью, в которой упоминалось его имя, он написал автору: «Позвольте сказать, что я очень не люблю, когда обо мне говорят в весьма хвалебных тонах, в каких Вы сочли нужным упомянуть мое имя. Возможно, подобные упоминания льстят тщеславию некоторых, но, конечно, не получат моего одобрения».