По всей вероятности, Джозефина Армстронг была строже с Луи, чем Мэйенн. Когда ребенок озорничал, она отправляла его во двор срезать прут тунгового дерева для порки. Вместе с бабушкой Луи регулярно ходил в церковь. Когда он стал постарше, она отдала его в начальную школу. Одновременно мальчик посещал и воскресную церковную школу.
Луи было около двух лет, когда Мэйенн родила второго ребенка, девочку, которой дали имя Беатрис. Впрочем, все звали ее Мама Люси. В своей автобиографической книге «Сэчмо» Армстронг вспоминает, что однажды к бабушке пришла соседка матери и забрала его домой. Мэйенн заболела и хотела, чтобы Луи ухаживал за ней и помогал следить за малышкой. Армстронг утверждает, что ему тогда было всего пять лет. Как только он пришел, мать послала его за продуктами в магазин, расположенный в нескольких кварталах от дома на Рэмпарт-стрит. По дороге на Луи напала компания уличных мальчишек и забросала его грязью. Не растерявшись, он дал им сдачи и даже преследовал их, когда те бросились бежать. Домой Армстронг явился весь перемазанный, но торжествующий.
Вся эта история выглядит слишком фантастической. Трудно представить, чтобы пятилетнему Луи доверили уход за трехлетней сестренкой и прикованной к постели матерью. Сомнительно также, чтобы такого маленького ребенка отправили в опасное место, которого он к тому же совершенно не знал. Странно и то, что на него якобы напала компания сверстников, то есть пятилетних. Да и бывают ли такие компании? Весь этот эпизод приобретает смысл только в том случае, если предположить, что Армстронг на самом деле был старше. Но тогда становится ясно, что, вспоминая о детстве, он все время вынужден подгонять свой действительный возраст к вымышленной дате рождения. Познакомившись позднее с другой рассказанной им самим историей, мы опять увидим, что Армстронг спрессовывает время.
В 1905 году, когда Луи было семь лет или около того, он вместе с матерью переехал с улицы Джейн-Элли в черный Сторивилл. Тринадцать лет спустя, регистрируясь на призывном пункте, он в графе «место жительство» написал: 1233, Пердидо-стрит. Вероятно, он вырос в доме по этому адресу, так как позднее в своих воспоминаниях Армстронг нигде не упоминает о переездах семьи. Этот квартал давно уже разрушен, но известно, что дом Луи находился около того места, где сейчас стоит здание Верховного суда Луизианы. По словам Армстронга, «это место называлось Брик-роу. Внутри дома находилось множество сдаваемых внаем квартир, а в целом он чем-то напоминал мотель»
. Это было длинное, двухэтажное здание, построенное из цементных блоков. В квартиры первого этажа входили прямо с улицы. В комнаты наверху можно было попасть через проходившую вдоль фасада балконную галерею, куда вели лестницы без навеса. Наверное, именно из-за этой галереи дом и казался Армстронгу похожим на мотель. Его квартира состояла, видимо, из двух-трех комнат.Черный Сторивилл представлял собой район, застроенный жалкими, преимущественно деревянными домишками. Школа была только одна, зато почти на каждом углу имелись дансинги, заведения с номерами, хонки-тонкс
, бакалейные лавки. Специальных культовых зданий там не строили, и церкви размещались внутри обычных домов. Знаменитый зал «Фанки-Батт», официально называвшийся «Юнион-Санз-холл», где выступал Чарлз «Бадди» Болден и другие пионеры джаза, находился как раз в том квартале, где жил Армстронг. Другой зал, на сцене которого играл Болден, — «Од Феллоуз» — был тоже рядом, на пересечении улиц Пердидо и Саус-Рэмпарт. В дансингах процветало такое хулиганство, что кое-где оркестры размещались на специальных балконах: когда между танцующими вспыхивали побоища, оркестранты оставались в относительной безопасности. Неподалеку от дома Армстронга находились еще пять хонки-тонкс — «Спано», «Матранга», «Джо Сегретта», «Кид Браун» и «Понс», — где Луи учился джазу. Как и все другие заведения в этом районе, хонки-тонкс и дансинги располагались в старых, заброшенных зданиях. Армстронг вспоминает, как он, обнаружив щели в стенах «Фанки-Батт», слушал музыку и смотрел, как танцуют проститутки. По словам Армстронга, в его квартале не было ни одного приличного дома. Почти в каждом здании размещались хонки-тонкс, дансинги, бордели и другие заведения подобного рода. Даже магазинов там было мало. Почти все свои покупки жители делали в расположенном поодаль, на улице Саус-Рэмпарт, торговом центре с его галантерейными, обувными и мебельными магазинами, лавками одежды и поношенных товаров.