Закончив в 1804 году Геттингенскую гимназию, Леопольд на несколько месяцев вернулся в родовое гнездо Гмелинов, в Тюбинген, где он работал в семейном фармацевтическом деле, попутно посещая лекции в Университете Тюбингена, однако систематическое образование решил получить все же в Геттингене. Получив степень бакалавра Геттингетского университета в 1809 году, он снова вернулся в Тюбинген, где начал изучение химии пигментов животного происхождения, которое потом и продолжил в Вене. В 1812 году на основании своих исследований он написал диссертацию и получил степень доктора медицины в Геттингетском университете (по слухам, Леопольду пришлось заниматься научной работой в родном городе и в Вене, так как из-за участия в дуэли его присутствие в Геттингене на какое-то время было нежелательно).
В 1813 году Леопольд отправился в исследовательскую экспедицию в Италию. В ходе поездки он проводил геологические изыскания, результаты которых затем опубликовал. После возвращения в Германию Леопольд посетил Гейдельбергский университет, где ему предложили прочитать несколько лекций, после которых пригласили на должность приват-доцента (в немецкой образовательной системе приват-доцент выполнял некоторые функции преподавателя без соответствующей зарплаты, сохраняя право претендовать на звание профессора), а в 1814 году его приняли уже на должность полноценного доцента медицинского факультета Гейдельбергского университета, естественно — с оплатой. Новое назначение не охладило любви к химии и химическим исследованиям. Зимой 1814-15 годов в компании кузена, Кристиана Готлоба Гмелина, тоже химика (позднее он вписал себя в историю химии, в 1827 году первым описав красную окраску пламени солями лития), Леопольд посетил Париж. Там оба Гмелина работали в лаборатории Луи Николя Воклена и встречались с ведущими французскими химиками, включая Жозефа Гей-Люссака и Луи Тенара.
Весной 1815 года Леопольд вернулся в Гейдельберг уже на должность директора химического института, который в те времена ещё представлял собой подразделение медицинского факультета. Из-за того, что химический институт не являлся самостоятельным, его материально-техническая база не была идеальной для проведения химических исследований. Несмотря на это, в 1817 году Леопольд Гмелин отказался от предложения Берлинского университета занять профессорскую должность, освободившуюся после смерти Мартина Генриха Клапрота. Узнав о такой верности Гейдельбергу, администрация университета вскоре повысила Леопольда до полного профессора (одновременно химии и медицины) и выделила ассигнование на оборудование новой химической лаборатории. Однако вряд ли Леопольд рассчитывал, что отказ Берлину подстегнёт его карьеру в Гейдельберге, скорее всего желание остаться было связано с личными причинами.
В 1816 году Леопольд Гмелин женился на Луизе Морер, дочери местного священника. Желание Луизы быть ближе к семье, возможно, и повлияло на решение Гмелина остаться в Гейдельберге — несмотря на то, что предложение Берлинского университета было не единственным за его долгую научную карьеру, он отказался от всех (порою весьма выгодных предложений), и оставался работать в Гейдельберге до своей отставки в 1851 году. Гмелина высоко ценили и как преподавателя, и как удачливого исследователя. Ставший под его руководством самостоятельным подразделением химический факультет Гейдельбергского университета процветал, а на закате своей карьеры Леопольд Гмелин позаботился и о будущем факультета, передав пост декана факультета Роберту Бунзену. Умер Леопольд Гмелин после нескольких сердечных приступов в 1853 году.
Научные работы Леопольда Гмелина были посвящены многим областям естествознания — от изучения химии переваривания пищи до анализа редких минералов. Работая над законами постоянства состава и эквивалентов вещества, Гмелин предложил эквивалентные веса элементов, его учение об эквивалентах показалось современникам более логичным, чем представления Джона Дальтона об атомных весах. Среди представительного списка соединений, открытых Гмелиным, можно отметить таурин (C2H7NO3S) и гексацианоферрат(III) калия K3[Fe(CN)6] (он назвал это соединение «красной кровяной солью», какое-то время это вещество называли «солью Гмелина»). Гмелин является автором некоторых привычных нам терминов, наиболее известными из которых являются «кетон» и «сложный эфир». Все эти открытия, бесспорно, важны, но ни одно из открытий Гмелина не вызвало столь значительного изменения сознания химиков, как его «Руководство…».