Первое издание эпохального труда Гмелина растянулось на период с 1817 по 1819 годы, оно получило название «Руководство по теоретической химии» (Handbuch der theoretischen Chemie), впоследствии справочник стал называться «Руководство по неорганической химии». Два тома первого издания были посвящены неорганической химии, а в третьем томе рассматривались материалы из тогда ещё молодой органической химии. В третьем издании справочника (1827–1829) быстрое развитие органической химии привело к тому, что изначальное соотношение неорганика: органика 2:1 превратились в 1:2. Леопольд Гмелин участвовал в пересмотре и изменении содержания своего справочника до самой смерти.
За время профессиональной деятельности Гмелина в теоретических представлениях химии произошло несколько существенных изменений, ведущие учёные того времени часто критиковали идеи друг друга, очень часто отношение к идеям конкурента переносилось на самого конкурента. Язык и тон этих дискуссий, что устных, что письменных, сейчас скорее бы напомнил нам обсуждение какого-либо вопроса в социальных сетях, но не научную дискуссию на конференции или страницах научных журналов. Самым интересным оказалось то, что все химики девятнадцатого века, независимо от того, чью химическую теорию они в определённый момент поддерживали, восприняли справочник Гмелина как авторитетное руководство, равно полезное и для изучающих химию, и для уже сложившихся исследователей. Ключом к успеху «Руководства…» послужило несколько факторов.
Во-первых, «Руководство…» было всеобъемлющим для своего времени. В нём была предпринята попытка описать все известные на тот момент элементы и соединения, а также их наиболее важные свойства хотя бы в той степени, насколько это было возможно в ситуации, при которой скорость выхода из печати новых книг гораздо уступала скорости появления новых открытий. Во-вторых, Гмелин делал всё возможное, чтобы не оказаться втянутым в те самые нездоровые баталии, которыми были заняты его современники. В некрологе, уже упоминавшемся выше, говорится о том, что «…ему удалось смотреть на всё в высшей степени объективно, и, хотя, естественно, по существу каждого спора он обладал своим собственным мнением, но никогда его не выпячивал, в первую очередь — при составлении «Руководства…»». Возможно, что умение не усугублять ситуацию и не участвовать в слишком эмоциональных научных дискуссиях, решая вопросы не эмоциями, а логикой, пришло к Гмелину после истории с дуэлью, из-за которой он должен был на некоторое время покинуть Геттинген, ну а может быть на его характер повлияла женитьба, точнее семья жены — все же его тесть был пастором.
Третьим фактором, способствовавшим успеху «Руководства…» Гмелина, было то, что его труд был тщательно систематизирован, организация содержания была продумана на высшем уровне, и, самое главное, все факты и данные сопровождались ссылками на оригинальные источники. Основой для создания и модернизации «Руководства…» была постоянно пополнявшаяся Гмелиным картотека — отдалённый предшественник современной электронной базы данных Gmelin database. Применение картотеки для систематизации уже встречалось в естествознании: тот же Карл Линней, составляя основы классификации растений и животных, использовал карточки, но Гмелин не только первым применил этот подход в химии, но и сделал его максимально эффективным. По отзывам современников, Гмелину особо нравилось удалять из картотеки неправильные или дублирующиеся данные. Так, услышав в 1829 году о том, что два соединения, считавшиеся разными, оказались одним и тем же веществом, Фридрих Вёлер пошутил, что когда это дойдёт до Гмелина, тот, вероятно, воскликнет: «Gott sie Danke, dass es eine Säure weniger geibt» (Хвала Господу, ещё одной кислотой меньше!).
Первый том четвёртого издания книги Гмелина, которая называлась уже просто «Руководство по химии» (Handbuch der Chemie), вышел в 1843 году. Гмелин руководил созданием первых четырёх томов, но пошатнувшееся здоровье не позволило ему полноценно работать над пятым томом (напечатан в 1852 году), и четвёртое издание было закончено помощниками Леопольда Гмелина — Карлом Листом и Карлом Краутом, которые ориентировались на рукописные записки патрона. До конца 1870-х годов Краут добавил несколько дополнительных томов к четвертому изданию «Руководства…», попутно готовя к печати пятое издание (которое также успел запланировать Гмелин незадолго до своей смерти).