В более поздних воспоминаниях Н. В. Григорьевой, ретроспективно, зная смысл и значение писательского вклада Шварца в мировую литературу, она скажет, что их группу «объединяло пока ещё неосознанное понимание сущности Женьки», но вновь выделит в нем общительность, проказливость, его выдумки и розыгрыши: «Примерно с 1908—09 года между нами, девочками, и Женей Шварцем, Юрой Соколовым и Сережей Соколовым начали складываться и сложились совершенно особые отношения. Они сохранились на всю жизнь. Мы никогда не говорили о них, но это были отношения какой-то сдержанной нежности, уважения и доверия. Каждый был нужен друг другу, каждому нужны были мы все вместе, и всем нужен был каждый из нашей маленькой компании. (…) В этой нашей, пока ещё очень счастливой и веселой группе нас всех объединяло пока неосознанное по-настоящему понимание истинной человеческой сущности Женьки. Это был удивительно веселый, общительный, проказливый мальчик, выдумщик на всякие интересные дела, великолепный имитатор любого голоса, особенно собак, потешавший нас до слез. Но, вместе с тем, мы видели в нем большого несмышленыша в быту и как-то все вместе, не сговариваясь, взяли на себя охранительные функции.
Мать завела такой порядок в нашем доме. Когда приходили отец и сын Шварцы, нам вменялось в обязанность осмотреть и починить их верхнюю одежду, пришить пуговицы, зашить карман и т. д., то же проделывалось и с пиджаком и Жениной форменной рубахой». Варвара Васильевна Соловьева прокомментировала это место воспоминаний старшей сестры следующим образом: «Все это несколько преувеличено. Лев Борисович был красивым элегантным мужчиной, следящим за своей внешностью ревностно. А вот у Жени прорехи действительно случались».
Сам же Женя в ту пору ощущал себя несколько иначе. «К этому времени, — писал он, — стала развиваться моя замкнутость, очень мало заметная посторонним, да и самым близким людям… Но самое главное скрывалось за такой стеной, которую я только сейчас учусь разрушать. Казалось, что я весь был как на ладони. Да и в самом деле — я высказывал и выбалтывал все, что мог, но была граница, за которую переступить я не умел. Я успел отдалиться от мамы, которой недавно ещё рассказывал все, но никто не занял её места. (…) Я знал и уже примирился с тем, что лишен музыкального слуха. У меня был ужасный почерк. Я худо рисовал. Я не мог играть в лапту, ударить по мячу палкой мне никогда не удавалось. Я не мог играть в чижика. Зато игры без правил, которые выдумывались тут же, — в разбойников, в японскую войну, в моряков играл я наравне со всеми. (…) Все перечисленные недостатки меня не огорчали, а злили. Я считал игры, требующие ловкости, дурацкими. Мой почерк не смущал меня. Да, я рисовал плохо, но с наслаждением, иногда целый вечер рисовал корабли, морские сражения, купающихся людей, солдат, сражающихся с японцами, и это было часто не менее интересно, чем читать. Только отсутствие музыкального слуха все больше и больше огорчало меня. Я любил музыку все безнадежнее и сильнее, и глядел на людей, поющих правильно, как на волшебников».
В Майкопе к Жене пришла первая любовь. Впервые он увидел Милочку вскоре после переезда их семьи сюда.
— Это событие произошло в поле, между городским садом и больницей. Перейдя калитку со ступеньками, мы прошли чуть вправо и уселись в траве на лужайке. Недалеко от нас возле детской колясочки увидели мы худенькую даму в черном, с исплаканным лицом. В детской коляске сидела большая девочка, лет двух. А недалеко собирала цветы её четырехлетняя сестра такой красоты, что я заметил это ещё до того, как мама, грустно и задумчиво качая головой, сказала: «Подумать только, что за красавица». Вьющиеся волосы её сияли, как нимб, глаза, большие, серо-голубые, глядели строго — вот какой увидел я впервые Милочку Крачковскую, сыгравшую столь непомерно огромную роль в моей жизни. Мама познакомилась с печальной дамой. Слушая разговор старших, я узнал, что девочку в коляске зовут Гоня, что у неё детский паралич, что у Варвары Михайловны — так звали печальную даму — есть ещё два мальчика: Вася и Туся, а муж был учителем в реальном училище и недавно умер. Послушав старших, я пошел с Милочкой, молчаливой, но доброжелательной, собирать цветы. Я тогда ещё не умел влюбляться, но Милочка мне понравилась и запомнилась… Хватит ли у меня храбрости рассказать, как сильно я любил эту девочку, когда пришло время?