Основным предметом забот Джойса было здоровье. С самого детства у него обнаружились проблемы со зрением. Он носил очки с толстенными стеклами и перенес одиннадцать операций по поводу близорукости, глаукомы и катаракты. В ходе одной из операций на левом глазу ему полностью удалили хрусталик. Другой проблемой были плохие зубы. В годы бедности молодой писатель часто питался одним только какао и не мог позволить себе услуги дантиста, которые понадобились ему из-за такой сладкой диеты. Его зубы буквально гнили на корню, что привело к воспалению радужек, а это лишь ухудшило и без того снижавшееся зрение. Сетуя, что нужные слова для «Улисса» он уже подобрал и нужно только расставить их в правильном порядке, Джойс не шутил. Последнюю треть своей жизни писатель был почти полностью слеп.
10 января 1941 года Джойс почувствовал ужасную боль в желудке и был доставлен в цюрихскую больницу. Ему поставили диагноз «прободная язва двенадцатиперстной кишки», вскоре он впал в кому и пришел в себя, только чтобы произнести последние слова: «Меня что, никто не понимает?» Католический священник предложил провести его похороны, однако Нора отказалась от его услуг, заявив: «Я не могу так с ним поступить». Джойс похоронен на цюрихском кладбище Флюнтерн под простой мемориальной доской.
Всю свою жизнь Джойс панически боялся двух вещей: собак и грозы. Происхождение первой фобии вполне понятно: в детстве он кидал камушки на пляже, и его укусила за подбородок бездомная собака. А за второй из своих страхов Джойс должен был благодарить гувернантку. Эта ревностная католичка внушала мальчику, что гроза — проявление гнева Господня, и требовала, чтобы он крестился, как только завидит вспышку молнии. Джойс и повзрослев всякий раз трясся при звуках грома. Когда кто-то спрашивал у него, почему он так реагирует, Джойс отвечал: «Вам не понять, вы ведь не росли в католической Ирландии».
Сказать, что у Джойса были необычные сексуальные фантазии, — значит не сказать ничего.
«Наиболее привлекательны для меня те две части твоего тела, которые делают грязные делишки», — писал Джойс в одном из многочисленных эротических писем, обращенных к его многолетней партнерше Норе Барнакл. «Я хочу, чтобы ты меня ударила или даже высекла, — признавался он в другом письме. — Я был бы рад быть выпоротым тобой, любимая Нора!» И это еще самые сдержанные пассажи. Любовные письма Джойса пестрели откровенными описаниями реальных и воображаемых соитий. Среди почти зримых анатомических описаний, помогавших Джойсу кончить при мастурбации, фигурировали вульгарные восхваления «больших и круглых сисек» Норы и ее «задницы, полной газов». Казалось, в… гм-гм… сердце Джойса было отведено особое место для запаха пущенных женщиной ветров и вида испачканного нижнего белья. Странно? Да. Сексуально? Весьма спорно. А что же Нора? Ей тоже нравилось обнюхивать трусы? Ее ответные письма Джойсу не сохранились, но по некоторым высказываниям писателя можно заключить, что она была столь же (а то и более) склонна к нестандартным сексуальным фантазиям. «Ты превращаешь меня в животное, — писал ей Джойс в очередном полном похоти послании. — Это именно ты, ты, бесстыдная непослушная девчонка, первой ступила на этот путь».
Джойс был без ума от женщин, но одна деталь женской анатомии особенно не давала ему покоя. Когда при нем рассказали историю о короле-людоеде, который выбирал себе супруг по размеру ягодиц, Джойс произнес: «Я искренне надеюсь, что, когда большевики наконец захватят весь мир, они освободят этого лишенного предрассудков монарха».
Иногда встреча двух литературных знаменитостей проходит совсем не так культурно и возвышенно, как мы того ожидали. Взять, к примеру, встречу Джойса с Марселем Прустом в 1922 году. К тому времени оба считались наиболее признанными романистами в мире. Когда и тот и другой появились на одном парижском званом вечере, в комнате воцарилась тишина. Гости полагали, что у этих двух литературных гениев много общего, — и они не ошиблись. Джойс и Пруст, как две старые бабки на завалинке, принялись жаловаться друг другу на свои многочисленные болячки. «У меня ежедневно болит голова. И с глазами беда», — ворчал Джойс. «Ох, уж этот мой желудок. Что же мне с ним делать? Когда-нибудь он меня доконает!» — вторил ему Пруст. После еще более неуклюжего обмена репликами о том, как они любят есть трюфели, оба писателя признались, что не читали книг друг друга. Когда темы для разговора были исчерпаны, Пруст, знаменитый своей застенчивостью, направился к дверям. Джойс вызвался проехаться с ним до дома в его такси, рассчитывая на продолжение беседы, но, увы, такового не последовало. Автор знаменитого цикла «В поисках утраченного времени» скрылся в своей квартире, даже не предложив Джойсу зайти на чашечку чая.