Кроме этого раздела, умозрительного и перспективного, оставшуюся часть статьи Больцман посвятил ответу Цермело, хотя делал это столь высокомерно, что заявлял: "Мне абсолютно не понятно, как кто-то может отрицать применимость теории вероятностей, когда другой аргумент доказывает, что могут быть редкие исключения в течение периода в несколько эонов, а теория вероятностей показывает именно это".
Его защита основывалась на апологии теории вероятностей, а также разъяснении того, что она способна и не способна сделать. Больцман приводил в качестве примера пожары: если известно, что из 100000 объектов определенного типа 100 разрушается огнем каждый год, нельзя утверждать, что это произойдет на следующий год. Возможно, что в следующие 10000 лет все объекты сгорят в один день, а также что в течение веков ни один не будет поврежден. Но чтобы подчеркнуть невероятность этой ситуации, он отмечал: "Несмотря ни на что все страховые компании доверяют теории вероятностей".
Кроме полемики с Цермело, Лошмидтом и энергетиками, Больцман также участвовал в различных философских дискуссиях. Работа в этой области в 1903 году привела его на кафедру философии в Венском университете, где он сменил самого Маха.
О связи Больцмана с философией можно сказать, что она была по меньшей мере двойственной: в одной из своих речей он говорил, что сначала смотрел на нее с "недоверием" и даже с "ненавистью" и отмечал: "Кстати, мою нелюбовь к философии разделяли почти все естественные ученые эпохи". У него было почти иррациональное отвращение к метафизике, с которой он ассоциировал сперва всю философию: другие философские идеи, к которым у него не было конкретных замечаний, он окрестил "методами". Сегодня их называют "философией науки".
Его низкая оценка философии происходила из его первого опыта в этой дисциплине, который оказался неудовлетворительным. В одной из речей на эту тему он пояснял: "Чтобы исследовать самые глубокие бездны, сначала я прочитал Гегеля; но с каким запутанным и бездумным потоком слов я столкнулся! Моя несчастливая звезда привела меня от Гегеля к Шопенгауэру". О последнем Больцман отзывался как о "дутом философе с пустой головой, невежде, распространяющем глупости", будто бы он "приводит в упадок умы, продавая пустословие". О Канте он заявлял следующее: "Да, даже с Кантом у меня возникла масса сложностей, ввиду такого количества понятий я начал подумывать, не насмехается ли он над читателем". Часть его проблем с Оствальдом происходила именно от того, что Больцман полагал, будто бы последний оставил естественную науку ради философии.
Позиция Больцмана относительно метафизики ясно видна в этом фрагменте его "Популярных заметок":