Апшеронский наш полк за Лабой отражался,
По колено в крови к морю пробивался.
И за то весь наш полк до последней роты
Получил на сапоги красны отвороты…
О популярности Веселовского среди солдат и офицеров говорят песни, слагаемые в его честь сослуживцами. Вот слова из одной:
И вспомнив бой Кунесдорвский,
Идемте в далекий поход,
У нас командир Веселовский
С вечным девизом — «Вперед!».
Песня, посвященная штурму Геок-Тепе 12 января 1881 г.
До настоящего времени дошли и другие песни Апшеронского полка, например: «Апшеронцы выступали в мае месяце в поход» (Текинская экспедиция 1880–1881 годов). Сейчас эти песни исполняет хор «Валаам».
В предвоенные годы был Антоний Андреевич был награжден орденом Святого Владимира 4-й степени (1912).
19 июля 1914 года Германия и 24 июля Австро-Венгрия объявляют войну России. Мобилизация основных войск прошла в течение 8 дней, а второстепенных, к которым относился и Кавказский военный округ — между 15 и 18 днями.
Первую мировую войну генерал Веселовский встретил вместе со своим Апшероским полком в составе 21-й пехотной дивизии под командованием генерал-лейтенанта Мехмандарова Самеда бек Садых бек оглы (III Кавказский армейский корпус генерала Ирмана, 3-я армия по командованием сначала генерала Рузского, а затем генерала Радко-Дмитриева Юго-западного фронта под командованием генерала Иванова).
В состав 21-й пехотной дивизии входили также 82-й Дагестанский Е.И.В. великого князя Николая Михайловича полк, 83-й Самурский полк и 84-й Ширванский Его Величества полк.
Едва прибыв на фронт, Апшеронский полк сразу же показал себя с лучшей стороны. 20 августа 1914 г. Апшеронцы (в составе отряда генерала Мрозовского) атаковали 10-й австро-венгерский корпус, и к вечеру у Суходола герои-Апшеронцы первыми прорвали фронт, не знавшей доселе неудач армии генерала Данкля. Трофеями под Суходолом были 5.000 пленных и 8 пулеметов. Наш урон в этом деле был около 2.300 человек (половина в Апшеронском полку, пошедшем в бой в своих исторических «кунерсдорфских» сапогах). За это сражение командир Апшеронцев генерал-майор Веселовский и офицеры — подполковник Н.И. Григорчук (посмертно), капитан А.С. Клоссовский, штабс-капитан Н.И. Малыхин, поручик М.К. Кастюрин и поручик В.С. Рыжков были награждены орденом св. Георгия 4-й степени. 27 августа 1914 г. в бою под Тарнавкой Апшеронцами взято 9 германских гаубиц. За умелое руководство этим сражением начальник 21-й дивизии генерал Мехмандаров был награжден орденом св. Георгия 3-й степени.
Вот воспоминания очевидца об этом бое (