«Я вспоминаю» — неполная и хронологически не всегда последовательная автобиография. Рассказ начинается со дня рождения Сименона, 13 февраля 1903 года, в городе Льеже и завершается рождественскими праздниками накануне 1910 года. Он объединяет разрозненные воспоминания, которые должны дать Марку представление о быте и нравах семьи, из которой он произошел, о его бабушках, дедушках и многочисленных родственниках. Сименон стремится воспроизвести атмосферу окружающего его в ту пору мира, который казался маленькому Жоржу неисчерпаемой сокровищницей чудес, часто не замечаемых взрослыми. Уже в раннем возрасте Сименон обладает незаурядной памятью, фиксирующей не только цвета, но запахи и звуки. Благодаря ей он воссоздает необычайно яркую, конкретную и точную обстановку, с которой связаны те или иные эпизоды первых лет его жизни. «Я до сих пор, — говорит писатель, — отчетливо представляю себе мельчайшие подробности тех мест, где я жил ребенком: розовые фасады домов, серебристые клубы пыли над мостовой и солнечные лучи, четко разделяющие улицу на светлую и темную стороны. Чередование белых и черных пятен отождествлялось в моем сознании со сменой радостных и печальных дней, хорошего и дурного. Все это пробуждает во мне множество воспоминаний, как будто навсегда забытые образы и события». Сименон уверен, что именно в детстве закладываются основы того характера, который проявится в человеке зрелого возраста, и потому во многих романах описывает юные годы своих героев, опирается на запас наблюдений, сохранившихся в его памяти. Он подробно делится с сыном разнообразными впечатлениями и грустными переживаниями, относящимися к той далекой поре. Он особенно подчеркивает, что многие из них были порождены страхом, вызванным ожиданием войны, начавшейся в 1914 году.
Детские годы Сименона отравлены размолвками, возникающими часто в семье. Они вызваны были несхожестью характеров родителей и материальными трудностями. Мать любой ценой стремится вырваться из бедности, попрекает за нее отца и требует, чтобы муж застраховал свою жизнь и обеспечил семью. Но покладистый во всем Дезире Сименон отказывается, и лишь когда он умрет в возрасте 45 лет, станет известно, что он болел грудной жабой и потому страховой врач отказался выдать ему свидетельство о здоровье. Дезире, зная, что его дни сочтены, скрывал все от семьи и как всегда был с виду весел и беззаботен. Слишком поздно раскрытая тайна отца потрясла Жоржа. Он навсегда запомнит, что внешний облик и поведение людей часто не отражают их душевного состояния. Со временем он передаст это понимание, своему литературному герою — комиссару Мегрэ, — и тот включит его в свод основных правил, которыми будет руководствоваться при расследовании самых запутанных преступлений. Сименон, очень привязанный к отцу, впоследствии указывал, что когда он создавал Мегрэ, то бессознательно придал ему некоторые черты Дезире.
Яркие впечатления связаны у маленького Жоржа с воскресными днями, посещениями совершенно чуждых семейных кланов — Сименонов, со стороны отца, и Брюлей, со стороны матери. «Среди них, — рассказывает Сименон, — имелись все представители рода человеческого. Мне оставалось только следить за поведением столь разнообразных типов. Когда я начал писать, то нашел среди них немало персонажей для своих романов».
Сименоны простые, трудолюбивые люди. «Здесь, — говорит писатель, — мне внушили: кто не работает, тот не ест. И поныне я придерживаюсь этого закона». У Сименонов чтут родственные узы, недоверчиво относятся к чужим, особенно к тем, кто, стремясь к новшествам, меняет ремесло и место жительства. Остро воспринимает впечатлительный мальчик атмосферу, насыщенную скрытым недоброжелательством, лицемерием, алчностью и эгоизмом, в которую он попадает, навещая родственников матери. Члены тоже большой, но давно распавшейся семьи лесоторговцев, коммерсантов, лавочников не питают друг к другу ни любви, ни уважения. Все подчинено интересам наживы, любые надругательства над личностью в этой семье совершаются во имя буржуазных добродетелей. Много лет спустя, вспоминая о детстве и отрочестве, Сименон запишет, что «истоки одной из центральных тем его творчества — обличение разных форм буржуазной морали, сковывающей человека и калечащей его жизнь, — следует искать в тех временах».
Маленький Жорж не сразу понял, что Сименонов и Брюлей разделяет не только образ жизни, но и язык, традиции и обычаи, связанные с тем, что они принадлежат к двум народам, издавна населявшим территорию современной Бельгии — валлонам и фламандцам. Валлоны, из которых происходит семья Сименона, говорят на валлонском диалекте французского языка, а Брюли — фламандцы, и их родной язык — фламандский — диалект нидерландского языка. В силу своеобразия своего исторического развития Бельгия стала суверенным государством лишь после революции 1830 года и в ней приняты два государственных языка — французский и нидерландский.