В 1906 г. приказом по военному ведомству № 216 при Совете Государственной Обороны создали Высшую аттестационную комиссию, «докладчиком и делопроизводителем которой состоял Дежурный Генерал». Ее возглавлял военный министр (с 1908 г. –
Высшая аттестационная комиссия стала работать достаточно продуктивно, хотя вопрос об увольнении за непригодностью еще не поднимался за неимением подобного механизма. Для очистки рядов от непригодных генералов пришлось их увольнять в дисциплинарном порядке, что применялось чуть ли не впервые и имело позорящий характер. Положительным в работе комиссии являлось то, что вырабатывалась общность взглядов на требования, которые должны предъявляться к кандидатам на высшие должности. По инициативе А. Ф. Редигера комиссией было принято принципиальное решение, что начальник, признанный негодным для данной должности, не может вновь получать такую же должность, хотя бы в другом округе. Это было важно потому, что до тех пор лиц, признанных непригодными, обыкновенно не увольняли, а переводили на равную должность в другом месте. Подобное прогрессивное отношение к кадровой политике готовило почву для изменения отношения к учреждению аттестационных комиссий в войсках.
Приказом по Военному ведомству было введено «Временное положение об аттестациях капитанов (ротмистров, есаулов), штаб-офицеров и обер-офицеров и генералов, состоящих в строевых частях, и в выборе кандидатов на некоторые должности (с 1 декабря 1906 г. по 1 января 1909 г.)». Впервые в русской армии официально был введен термин «предостережение о неполном служебном соответствии», отмечают В. А. Золотарев и Ю. Ф. Соколов, как один из пунктов (п. 7), по которым проводилась оценка служебных, физических, умственных и нравственных качеств аттестуемых. Предостережение о неполном служебном соответствии предусматривало следующие практические меры: тот год, в котором офицер получал данное взыскание, исключался из срока выслуги для производства в следующий чин; выслуга лет (прохождение службы в новом чине), не аттестованным офицерам по этому пункту, считалась только после изменения аттестации и со дня занятия новой должности; офицеры, не заслужившие удовлетворительной аттестации после получения в предыдущем году «предостережения о неполном служебном соответствии, подлежали увольнению из армии». Новые положения об аттестации офицеров вводились приказами № 82, № 341 от 1908 г., № 153, № 695 от 1910 г., № 405 от 1913 г. и действовали в годы Первой мировой войны. Аттестация офицеров производилась аттестационной комиссией коллегиально каждый год в ноябре-декабре. Жалобу на выводы комиссии разрешалось подавать старшему над начальником аттестационной комиссии в течение двух недель со дня извещения.
Введение аттестационных комиссий, нового порядка аттестования широко обсуждалось в военной среде, при этом существовали мнения как за, так и против. В работах В. И. Доманевского, Я. В. Червинки, Б. Панаева, Г. М. Ладыженского высказывались мысли о проблемах аттестации, которые нуждались в тщательном изучении, в первую очередь в вопросах объективности аттестаций и всесторонности характеристики аттестуемого. Г. Ладыженский писал: «Теперь создается высшая аттестационная комиссия. Эта прекрасная мера будет приносить пользу только тогда, когда в комиссию будут поступать аттестации беспристрастно, умно и точно характеризующие личность. Иначе весь командный состав наш будет опять делиться только на две категории: на «хороших знакомых» и «вовсе незнакомых».
А. З. Мышлаевский в качестве начальника Главного штаба, имевшего постоянное соприкосновение с бытом войск, указывал на новые явления: на «недоумение и беспокойство в верхних и средних слоях офицерского состава», вызванное, по его мнению, непопулярностью вновь введенного аттестационного порядка, принудительным увольнением по предельному возрасту и «неопределенностью новых требований»; на пропаганду среди «самого молодого офицерского состава», которая уже «достигла некоторых успехов».