Бывавшие у Иосифа Абгаровича в Эрмитаже могли видеть его занятым одновременно и крупными делами государственного и международного значения, и "мелочами музея". В этом была замечательная черта характера Иосифа Абгаровича - внимание и к большому, и к обыденному. Недаром Орбели знал всех служащих Эрмитажа и дружил со многими из них. Он был патриотом своей родной Армении, но ему всегда была чужда национальная ограниченность, пренебрежительное отношение к достижениям культуры других народов.
В дни тяжелых испытаний советского народа Орбели оставался на боевом посту. Во время финской войны в Эрмитаж приезжали бойцы с фронта, чтобы отдохнуть, встретить друзей, увидеть галерею Героев Советского Союза, устроенную в одном из помещений Эрмитажа; хотя по пышности и блеску она значительно уступала прославленной галерее 1812 года, но ее значение для поднятия боевого духа армии было очень велико. Этим же целям содействовала и большая выставка великолепных картин, собранных из различных музеев страны, отражающих героическое прошлое русского народа.
В первые грозные дни Великой Отечественной войны Иосиф Абгарович проявил себя истинным патриотом. В кратчайший срок была организована эвакуация наиболее ценных сокровищ Эрмитажа, причем вместе с музейными коллекциями были увезены и такие бесценные сокровища Академии наук, как рукописи Ломоносова и библиотека Пушкина.
Сам Орбели остался в Ленинграде и руководил охранными работами, перенесением оставленных музейных ценностей в надежные хранилища. В тяжелые дни блокады он вел большую общественно-политическую работу, постоянно выступая в воинских частях перед солдатами и офицерами и по радио.
Борис Борисович Пиотровский, тогда еще молодой ученый Эрмитажа, разделивший все тяготы блокады, вспоминает:
"В ночь на 1 января 1942 года Иосиф Абгарович был приглашен в Радиокомитет для выступления. Я провожал его. Помню, как в холодных, промерзших комнатах Радиокомитета сидели прибывшие с фронта солдаты, рабочие ленинградских заводов, а гостеприимные хозяева могли угостить их только кружкой кипятка... Но эта тяжелая обстановка только воодушевляла крепких духом людей. Иосиф Абгарович произнес замечательную речь, которая, к сожалению, не сохранилась в записи. Он выступил после летчика, протаранившего вражеский самолет над Ленинградом, и перед рабочим, который рассказывал о том, как их завод выпускает танки для фронта.
После митинга мы возвращались с ним ночью в Эрмитаж. Начался артиллерийский обстрел, и мы попали в вилку разрывов снарядов. Но Иосиф Абгарович был на таком большом подъеме, что не утратил своей бодрости и веселости и уверенно шел под звуки разрывов снарядов, не обращая на них никакого внимания.
Внутри Эрмитажа Иосиф Абгарович организовал большое бомбоубежище, в котором жили научные сотрудники многих учреждений города. В противопожарной комнате Эрмитажа не затихала научная работа. Писались научные труды, делались переводы восточных стихов, расписывались фарфоровые изделия на восточные темы, и во всем этом Иосиф Абгарович постоянно принимал организующее участие. Все знают, какое большое значение для работы имеет спаянный коллектив. Директор Эрмитажа сумел организовать дело так, что Эрмитаж продолжал жить полной жизнью. Вокруг него стали объединяться другие учреждения. В самые трудные дни, когда была опасность, что враг может прорваться в город, Орбели не покинул Ленинград. На настоятельные предложения выехать, на предложения, граничащие с приказом, Орбели ответил решительным отказом и добился от Военного совета разрешения остаться в Ленинграде до окончания охранных работ.
В дни сильных бомбардировок Ленинграда Эрмитаж спасал до двух тысяч человек, постоянно там живших. Кроме убежища для сотрудников Эрмитажа и их семей, было устроено убежище и для работников других учреждений. Там жили архитекторы, сотрудники Академии наук, Академии художеств, Медицинской академии, артисты и режиссеры театров. Особые убежища на 240 мест были отведены детям и старикам, которых не успели эвакуировать из Ленинграда. Все бомбоубежища были устроены силами работников Эрмитажа.
Зимой 1941/42 года почти весь Балтийский флот находился на Неве. Моряки кораблей были лучшими друзьями не только Эрмитажа, но и самого Иосифа Абгаровича. Они провели с ближайшего корабля свет в госпиталь Эрмитажа, где лежали ослабевшие сотрудники музеев. Моряки провели освещение и в комнату Иосифа Абгаровича, постоянно предоставляли музею рабочую силу..."
Борис Борисович рассказывал о том, какую поддержку давало каждое слово привета, полученное в эти суровые дни от друзей.