Большую часть года семья проводила в столице. На лето уезжала в село Никольское под Дмитровом. Впоследствии Д. А. Олсуфьев вспоминал: «Мой детский мирок среди нянюшек и старой крепостной прислуги, с которой я был очень близок, так как мать наша в те свои молодые годы нами, детьми, мало занималась». В 1875–1877 годах семья провела более года в Париже. А потом – переезд в Москву. Младшие сыновья, Михаил и Дмитрий, поступили в Поливановскую гимназию на Пречистенке. Много лет спустя, в эмиграции, Д. А. Олсуфьев мысленно возвращался в те времена. Он вспоминал детство, окрашенное в тона умеренной религиозности и патриархального монархизма, отрочество, позитивистское и народническое. В аристократической семье Олсуфьевых давали о себе знать леворадикальные настроения. Дома, по воскресеньям, собирались известные москвичи: социолог, правовед М. М. Ковалевский, экономист И. И. Иванюков, математик Н. В. Бугаев (отец Андрея Белого). Другом (и дальним родственником) семьи был Л. Н. Толстой, который, будучи в Петербурге, останавливался у Олсуфьевых. Иногда заезжал в Никольское, где проживал в комнате Дмитрия. По словам П. И. Нерадовского,
У Толстого был даже план женить Михаила Олсуфьева на своей дочери Татьяне.
Годы в гимназии стали для Дмитрия временем праздной жизни, товарищеских пирушек и безусловного презрения к учебе. В этом он не был оригинален. Приблизительно то же самое можно было сказать о брате Михаиле и его однокласснике князе Г. Е. Львове, будущем первом главе Временного правительства. Впрочем, все это не помешало Д. А. Олсуфьеву поступить на естественное отделение физико-математического факультета Московского университета. По его окончании Олсуфьевы переехали в Никольское. Мать, Анна Михайловна, урожденная Обольянинова, и ее старшая сестра Елизавета занялись благотворительностью, основали в Никольском больницу, народную школу, поддерживали их в порядке.