Не забыл графа А. А. Аракчеева и следующий император – Александр I, вступивший на русский престол в 1801 г. в результате дворцового переворота. Уже на следующий год Аракчеев возглавил комиссию по преобразованию артиллерии и даже поучаствовал в войне с Наполеоном в качестве командира пехотной дивизии во время Аустерлицкого сражения, где получил ранение. Все это время граф продолжал оставаться инспектором всей артиллерии (с 1808 г. и пехоты), и историки отмечают улучшение в этом роде войск. В течение двух лет, с 1808 по 1810 г., А. А. Аракчеев возглавлял Военное министерство, с началом Отечественной войны он вновь вернулся к управлению русскими вооруженными силами, занимаясь в основном снабжением воюющих соединений.
Идея устройства в России военных поселений возникла в начале XIX столетия в связи с военными конфликтами в Европе, и, в частности, с победами Наполеона Бонапарта. Устройством деревень, жители которых в мирное время пашут, а в свободное от занятий сельским хозяйством время маршируют и учатся воевать, занимались уже при Петре I (пахотные солдаты) в приграничных территориях. Так же была организована жизнь казачьих станиц. Так что опыт управления подобными населенными пунктами в России уже имелся. Для начала XIX в. военные поселения были актуальны еще и тем, что позволяли обеспечивать нижних чинов, вышедших в отставку и не имевших в силу естественных причин семей.
Граф А. А. Аракчеев на первых порах выступал против строительства военных поселений, но довольно быстро перешел в лагерь их сторонников и даже разработал план строительства первого из них, организованного в 1810 г. в Могилевской губернии. Коренных жителей общим числом 4 тысячи переселили в причерноморские земли, отторгнутые у Турции во второй половине XVIII в., на их место перевезли семьи нижних чинов запасного батальона Елецкого мушкетерского полка, которых расселили в оставленных крестьянами домах. Неженатым новым поселянам разрешили венчаться, причем наиболее бедным выдавали пособие на свадьбу.
Первый опыт устройства военного поселения в Могилевской губернии власти посчитали успешным, поэтому к 1820-м гг. подобные населенные пункты появились в Новгородской, Херсонской, Екатеринославской, Харьковской и Петербургской губерниях.
Канцелярия военных поселений располагалась на Кирочной улице, напротив дома, где жил А. А. Аракчеев. Сам граф выступал единоличным начальником поселян в 1817–1821 гг., после чего поселения перешли в подчинение специального штаба, в 1826 г. получившего название Главного штаба Его Императорского Величества по военным поселениям. Как понятно из дат, переименование произошло уже при императоре Николае I. В 1832 г. управление поселениями перешло к отдельному департаменту Военного министерства.
Граф Алексей Андреевич Аракчеев оставался главным начальником военных поселений до 1826 г., пока его на этом посту не сменил генерал-адъютант Петр Андреевич Клейнмихель. В 1826 г. А. А. Аракчеев уволен в отпуск по состоянию здоровья, а в 1832 г. отставлен от должности инспектора артиллерии и пехоты. Через два года граф скончался и похоронен в имении Грузино. Военные поселения упразднили в 1857 г.
Главный фасад дома Аракчеева выходил на Литейный проспект. Здание было выкрашено темной краской, а его центральная часть решена в виде портика с четырьмя колоннами. Участок, где стоял дом, оставался в собственности казны, а территория сдавалась. Так, некоторое время здесь находилось производство карет и экипажей немецкого мастера Шварца.
В конце XIX столетия в столице велось большое строительство, и частично незастроенный участок на Литейном проспекте пришелся кстати для размещения здания Офицерского собрания, возведение которого началось в 1895 г. и завершилось спустя три года. Строительными работами руководил военный инженер Н. В. Смирнов, а смета составила 1 млн 310 тыс. руб. При торжественной церемонии закладки присутствовали государь Николай II и императрица Александра Федоровна. Присутствовала императорская чета и на открытии нового Офицерского собрания.
Здание в неорусском стиле выделялось угловой прямоугольной в плане башней с высокой шатровой кровлей, дополненной в средней части поясом килевидных закомар, которые дублировали закомары у основания шатра. Верхняя часть башни декорирована рельефом с изображением Георгия Победоносца, а средняя часть выделена мощным балконом с каменным ограждением. В башне располагался один из входов в здание. Две небольшие квадратные в плане башенки фланкировали постройку с двух сторон и не выходили за общий уровень здания.