Когда в ноябре 1892 года Дмитрию Ивановичу предложили эту должность, то вверенное ему учреждение с 50-летней историей еще именовалось Депо образцовых мер и весов, да и сама должность называлась по-другому: «ученый-хранитель». Депо было приспособлено главным образом к проверке торговых железных саженей, аршинов и различных чугунных гирь. Руководство такой конторой казалось местом тихим, спокойным. Но не с характером и темпераментом Менделеева заниматься рутинным делом. Деятельный и живой ум не позволял ему примириться со званием «хранителя мер и весов». Это навевало мысли о неподвижности, о неизменности хранимого. «Управляющий» — вот это другое дело! И управляющий не «Депо образцовых мер и весов», а «Главной палатой мер и весов». Дату 1 (13) июля 1893 года, когда было утверждено подготовленное Менделеевым «Положение о Главной палате мер и весов», русские метрологи считают началом новой эры в истории отечественной науки об измерениях — метрологии.
Менделеев начал свою работу в ГПМВ с воссоздания новых прототипов основных мер длины и веса и их точных копий и тщательной сверки с уже существовавшими европейскими эталонами. Всем на удивление изготовление прототипов мер веса продолжалось всего шесть лет, включая и принципиальную разработку вопросов, тогда как в метрологических институтах других стран такая работа занимала 15–20 лет. Между тем, чтобы вывести точный вес прототипа фунта и его подразделений и снять с этих прототипов копии, понадобилось провести 20 тысяч отдельных наблюдений. Масса эталона фунта была определена Менделеевым с точностью до 0,000072 грамма. Он добился в сто раз большей точности взвешивания против той, которой достигали его предшественники, и все еще не был удовлетворен. В написанной им речи к десятому съезду русских естествоиспытателей в Киеве в 1898 году (из-за болезни Менделеева лекцию прочитал его ученик профессор Д. П. Коновалов) говорилось: «Так как все естествознание внушает мысль искать истинные и важнейшие законы в мельчайших долях — от дифференциальных частей и атомов до микроорганизмов, весящих обыкновенно менее одной миллионной доли миллиграмма, — то впереди остается еще много для достижения желаемой точности, как во всем океане точных знаний».
Требовательность Менделеева-метролога породила выражение «менделеевская точность», ставшее синонимом наиболее тонких измерений. Он, например, учел то, что теплота, распространяемая наблюдателем, может действовать на весы даже на расстоянии 4 метра и влиять на точность взвешивания. Поэтому при особо ответственных работах в ГПМВ наблюдатель отделялся от прибора особой перегородкой, состоящей из деревянной доски толщиной 12 миллиметров, обитой с обеих сторон жестью и еще оклеенной станиолем.
Озабоченный обязательностью единства мер по всей необъятной империи, Менделеев расширяет сеть отделений ГПМВ в России (при нем открылось до 25 новых), готовит необходимые для них кадры, организует строгий контроль над упорядоченной им же поверкой применявшихся мер и измерительных приборов. Кстати, именно тогда — в 1894 году — была установлена эталонная крепость «менделеевской» водки (40 градусов), введены спиртометрические таблицы, позволяющие по удельному весу раствора спирта с водой определить его крепость. Аршин как мера длины полностью вытеснил прежнюю сажень, и размер его (71,12 см) был установлен с точностью, допускавшей отклонение не более 3,7 микрона. При этом Менделеев с первых дней своего пребывания на посту управляющего ГПМВ добивался от правительства решения о переходе России на метрическую систему мер (килограммы и метры). Она была введена как факультативная, т. е. необязательная, в 1899 году. И когда 14 сентября 1918 года метрическая система была закреплена декретом Совнаркома РСФСР, страна уже вполне была готова к тому, чтобы повсеместно ею пользоваться.
Главной палатой мер и весов Менделеев управлял до конца своих дней, но, как и в более молодые годы, не мог не увлекаться идеями и проектами, прямого отношения к служебным обязанностям не имевшим. В 1899 году он совершает большое путешествие на Урал, чтобы «разыскать на месте, где должно искать коренные причины малой возможности уральской железной промышленности». По итогам поездки выпущена книга «Уральская железная промышленность в 1899 г.», которая и десятилетия спустя оценивалась специалистами как «обширная и строго научная энциклопедия по Уралу».