Бертран де Фенелон был на семь лет младше Пруста. Этот именитый аристократ отличался исключительной красотой. Именно его внешность блондина с голубыми глазами стала основой для создания очаровательного образа Сен-Лу в романе «В поисках утраченного времени». Однако Бертран, как и другие члены «секретного общества», не хотел оказаться «под колпаком» у Пруста, которого страхи, ревность и неуверенность в себе быстро превращали в невыносимого тирана. Пруст еще надеялся на то, что в лице молодого аристократа он найдет идеального друга, когда в октябре 1902 года отправился с ним в путешествие по Голландии и Бельгии, последнюю долгую поездку в своей жизни. Его цель — прояснить отношения с Бертраном и познакомиться с фламандской живописью. При этом Фенелон с самого начала его разочаровал: друг Пруста предпочел путешествовать один, поэтому они, выехав из Парижа вместе, быстро расстались, чтобы затем ненадолго пересечься в Амстердаме и Гааге. Пруст, ненавидевший одиночество, ощущал себя настолько несчастным, что признавался в письме своим родителям, что каждый день успокаивает себя только тем, что обещает самому себе назавтра возвратиться в Париж. Но, несмотря на очевидные страдания, он за время двухнедельного вояжа посетил Брюгге, Гент, Антверпен, Дордрехт, Роттердам, Амстердам и Гаагу.
Вскоре после поездки — 31 октября — Фенелон получил известие о том, что он назначен на пост атташе при посольстве Франции в Константинополе. Без сомнения, эта новость расстроила Пруста, которого раздирали противоречивые чувства: с одной стороны, он сохранял еще остатки привязанности к Бертрану, а с другой — страдал от разочарования. К этому добавилось раздражение, вызванное очередным конфликтом с родителями. Дело в том, что осенью 1902 года мадам Пруст предприняла новую попытку ввести поведение сына в рамки приличия, требуя от него сократить траты и изменить режим дня. Для того чтобы воздействовать на сына, она запретила слугам не только топить его комнату, не только подавать ему еду в неурочные часы, но и вообще оказывать любые услуги. Смесь эмоций, вызванных взаимоотношениями с родными и друзьями, спровоцировала взрыв гнева, который казался совсем несоответствующим характеру чувствительного писателя. О нем Пруст рассказал в письме к матери от 6 декабря 1902 года.
Марсель сообщает, что его приятели — Жорж де Лори и Бертран де Фенелон — приходили его навестить. Пруст, пребывая в раздражении из-за поведения слуг, при первом же не очень приятном замечании Бертрана бросился на него с кулаками, начал топтать только что купленную другом шляпу и в конце концов вырвал из нее подкладку. Чтобы мадам Пруст не подумала, что он преувеличивает, Марсель даже прикладывает кусочек ткани к письму. История о приступе гнева должна была, по всей видимости, заставить мадам Пруст смягчиться и перестать требовать от Марселя «невозможного».
Драка с Фенелоном не помешала Прусту 8 декабря 1902 года прийти провожать Бертрана, отправлявшегося в Константинополь с Лионского вокзала на знаменитом Восточном экспрессе. Пруст, которого отъезд друга оставил безутешным, даже спланировал поездку в Турцию для встречи с Бертраном, но этот проект, конечно, так никогда и не был осуществлен. Добавим еще, что Бертран де Фенелон погибнет во время Первой мировой войны, подобно Роберу де Сен-Лу из романа «В поисках утраченного времени».
Если с точки зрения развития дружеских отношений поездка в Бельгию и Голландию окончилась провалом, то с точки зрения подготовки к написанию романа она имела важнейшее значение. Рёскин, который был духовным мэтром Пруста, никогда не писал о фламандской живописи. Таким образом, путешествие должно было компенсировать «недостатки» учения философа. Так, во время поездки Пруст открывает для себя Яна Вермера Дельфтского, который с этого времени вместе с Мантеньей, Тицианом и Рембрандтом входит в число любимых художников писателя. Пруста, несомненно, привлекает умение Вермера передать красоту повседневности: он противопоставляет картины фламандца творчеству художников итальянского Ренессанса, изображающих своих прекрасных, но лишенных теплоты персонажей на фоне бесконечных пейзажей.
Живопись Вермера, который стал известен широкой публике только в середине XIX века, с его, по мнению Пруста, лучшей в истории мировой живописи картиной — «Вид Дельфта» — играет капитальную роль в романе «В поисках утраченного времени». Так, Шарль Сван пишет исследование, посвященное этому художнику, которое он никак не может закончить. Писатель Бергот отправляется на выставку Вермера и, глядя на «Вид Дельфта», осознает, насколько его последние произведения были сухими, лишенными жизни. Знакомство с живописью Вермера является также индикатором, который показывает уровень культуры персонажей: так, Одетта де Креси, например, не знает, кто такой Вермер и жив ли он еще.