Спал старец очень мало, и днём не всегда ложился, а занимался чтением и молитвой. Однажды когда заметили ему, что он изнуряет себя, лишая и малого отдыха, на это батюшка ответил: «Да разве отдых состоит в том, чтобы спать, — на это есть ночь, а днём довольно и так одному побыть». Когда скорбели по поводу его изнеможения от трудов, он обыкновенно приводил в пример св. Феодора Студита, который сам томясь в заточении, утешал и ободрял скорбящих братий и, несмотря на свои страдания от согнивающих ран, писал наставления своей пастве. «Вот какая любовь была», — добавлял смиренно старец. Времени он никогда не терял в праздности, — всё у него было распределено; замечательно, что будучи уже старцем, когда ему почти не оставалось времени на отдых, он, улучив свободную минутку, или брал книгу, или занимался переклеиванием старых конвертов на внутреннюю сторону, которые затем употреблялись для рассылки писем по ближайшим монастырям. Всё у него было во время и в меру; и оттого, может быть, у него всё так и спорилось, и все были удовлетворены.
В обращении он был удивительно ровен со всеми. Всегда приветливый и участливый, он ни перед кем не заискивал, никого не привлекал, никого не отличал; даже для лиц высокопоставленных он не изменял своих порядков. Родственников, приезжающих к нему, он принимал наравне с прочими в той же приёмной и беседовал с ними; но никаких чаепитий и никаких особых утешений родным не предлагалось. Вообще он никого к себе не звал и никому не отказывал.
Одна особа обратилась к нему в письме с просьбой принять её в своё руководство, поясняя что её многое смущает и беспокоит. Не получив на это письмо ответа, она приехала сама в Оптину и так расположилась к старцу, что открыла ему свою душу. На вопрос же её, почему батюшка не ответил на её письмо, он сказал: «А я ждал, что вы вслед за этим напишите, что вас смущает». «Я не решалась этого сделать без вашего позволения и думала, что вы меня не примете», — возразила госпожа. «Да разве старцы когда отказывают, кто к ним обращается», — сказал он ей на это.
Принимая всех без различия, о. Иосиф всегда отвечал на предложенные ему вопросы, но сам никогда не заводил речи. Раз одна подумала: «Отчего это батюшка сам никогда ничего не скажет?» А старец вдруг, отвечая на её мысли говорит: «Вопрошаемый не должен сам говорить, а только отвечать вопросившему!» Один из близких старцу иноков рассказывает, что, в начале своего отношения к нему, он даже роптал на старца за то, что он так скуп на слова, и никогда ничего не говорит без вопроса, а когда придёшь к нему, он скажет только: «Ну что?» и уж самому нужно предлагать вопросы. Отчего, думалось иноку, старец так начитан святоотеческого учения и преисполнен сам мудрости духовной, и мог бы поговорить побольше, а между тем всё нужно понуждать его вопросами? Но впоследствии старец разъяснил ему словами преподобного Петра Дамаскина, который пишет: «Без вопрошения братии, не должно говорить чего-либо для пользы, чтобы доброе было по свободному произволению, как и апостол учит: не яко обладающему причту, но образ бывайте стаду» (1 Петр. 5, 3). И древние отцы без вопрошения не говорили служащего ко спасению, считая это празднословием». Тогда, — говорит инок, — я понял глубокую мудрость старца и перестал его осуждать за это и получал великую пользу от его кратких, но сильных ответов; и приходилось на опыте в этом убеждаться, что иной и много говорит, а слова его не остаются в сердце.
Другому иноку старец сам сказал, вероятно потому, что и он этим же смущался: «На меня недовольны некоторые, что я мало говорю. Но для того, чтобы утешить скорбящую душу, много и не надо говорить, — надо только дать свободно самому выказаться не перебивая, — и когда выскажет все свои скорби, уже этим самым и облегчит свою скорбь. К этому остаётся прибавить только несколько согретых любовью слов и пояснить кое-какие недоумения, и человек после этого видимо укрепляется верою, обновляется душой и снова готов всё терпеть».
И это ощущали на себе все относившиеся к старцу. Его краткие ответы и сжатые наставления были сильные и действительнее самых обстоятельных и продолжительных бесед. Он умел в двух-трёх словах сказать так много, что сразу становилось всё ясным и понятным. Самые убедительные доводы самолюбия и горделивого самооправдания разбивались вдребезг от одного его слова: «Ну, что-ж, надо потерпеть». Своим смирением он смирял самые бурные сердца; от него веяло всегда такой небесной тишиной, что в его присутствии самые неуступчивые, гордые и строптивые совершенно изменялись.