Детство Александра Гучкова прошло в многодетной семье, помимо двух старших братьев-близнецов, Николая и Федора, у него был еще и младший брат Константин. Еще один младший брат – Виктор – рано умер, в возрасте 14 лет28. Когда Александр достиг определенного возраста, родители определили его во 2-ю московскую гимназию на Разгуляе29. Хотя в Москве в это время попасть в гимназию было непросто: ощущался громадный дефицит мест. В 1870-е годы в печати обращалось внимание «на то странное обстоятельство, что москвичам негде учить своих детей. Почти все классические гимназии объявили, что в настоящий учебный год приёмов в первые классы нет…»30 Гимназии действовали на основе устава, предполагалось восьмилетнее обучение31. Надо отметить, что во 2-й московской гимназии на Разгуляе обучалось немало известных в будущем людей: К. С. Станиславский, В. М. Дорошевич и А. В. Амфитеатров (создатели газеты «Россия»), М. Н. Покровский, М. П. Чехов и др. Здание гимназии само по себе было уникальным. Оно было построено в середине XVIII века. С конца XVIII века здесь жила семья Мусиных-Пушкиных. В 1812 году дом горел, а вместе с ним и богатейшая библиотека, в которой находился древний список «Слова о полку Игореве». В 30-е годы XIX в. здание было выкуплено под гимназию, где она и располагалась до осени 1917 года. Очень красивое, величественное здание на улице Елоховская, 2, трёх этажей, довольно оригинальной архитектуры, где был даже полукруглый балкон с колоннами. При гимназии была церковь Св. Андрея Первозванного, церковным старостой которой долгие годы был отец Александра Гучкова32.
Уже в гимназические годы у Александра стала складываться такая черта его характера, как небоязнь плыть против течения в угоду мнения большинства, которую он пронес через всю свою жизнь. Так, после оправдания судом присяжных Веры Засулич, стрелявшей в губернатора Трепова, в зале суда после оглашения оправдательного вердикта присяжных раздался гром рукоплесканий. Перед зданием суда стояли громадные толпы. Вышедшую из суда В. Засулич встречали приветствиями и поздравлениями33. Несмотря на моральную поддержку и одобрение «прогрессивной общественности», 15-летний Александр выступил в гимназии в поддержку правительства, в отличие от очень многих, за что и был избит гимназистами34. Этот первый опыт проявления собственной позиции, имевший неприятные последствия, не сломил его, а напротив, только укрепил его силы.
В 1877 году началась Русско-турецкая война. В Манифесте Александра II было провозглашено, что «…исчерпав до конца миролюбие наше, мы вынуждены высокомерным упорством Порты приступить к действиям более решительным»35. Общественные настроения были полностью на стороне верховной власти в желании оказать братскую помощь народам Балкан. В газетах писали: «…Наше терпение распинала Европа на кресте; над нашей снисходительностью она издевалась; наше миролюбие она объясняла слабостью; наше одушевление считала напускным задором…»36