Вскоре он женился в России на баронессе Вольф, владеющей крупными поместьями в Прибалтике, и построил свой первый дирижабль, проект которого представил на рассмотрение комиссии, специально созданной Вильгельмом II, в 1894 г. В 1898–1900 гг. граф строит свою первую машину LZ-1; ее длина 128 м, диаметр около 12 м. Внутри алюминиевого корпуса 17 баллонов для газа, сделанные из специальной хлопчатобумажной ткани, два бензиновых двигателя Даймлера по 15 л. с, каждый весом 450 кг и с пропеллерами более 1 м диаметром. Вес дирижабля превышал 11 т.
Этот дирижабль был построен на берегу Боденского озера, в местечке Фридрихсгафен. Здесь же 2 июля 1900 г. состоялся его первый полет, длившийся двадцать минут и закончившийся неудачно. Два с половиной месяца конструктор устранял недостатки и неисправности, после чего первый цеппелин дважды поднимался в воздух 17 и 21 октября. Дирижабль устойчиво летал и хорошо слушался рулей. Однако 21 октября корпус машины разломился пополам, и дирижабль пришлось разобрать.
Судьба второй машины оказалась еще более печальной. 30 ноября 1905 г. при попытке выполнить первый полет, внезапно налетевший порыв ветра сильно помял дирижабль. Однако, после основательного ремонта, 17 января 1906 г. он все же полетел, хотя и показал себя весьма неустойчивым и плохо слушался рулей. Цеппелин, лично управлявший воздушным судном, вынужден был посадить его в незнакомом месте, и ночью буря совершенно уничтожила его детище.
На постройку третьей модели собирали деньги друзья и почитатели таланта графа. И наконец 9 октября 1906 г. была запущена первая удачная модель дирижабля его конструкции. На следующий день корабль Цеппелина, взяв на борт 11 человек, пролетел за 2 часа 17 минут 110 км. Это явилось неслыханным достижением. Граф получает ученую степень доктора инженерных наук. Рейхстаг выделяет полмиллиона марок на продолжение работ. На Боденском озере строится за государственный счет специальный плавающий эллинг, который в сентябре 1907 г. преподносится графу как подарок от имени нации.
Осенью 1907 г. Цеппелин летает без посадки 8 часов, после чего получает предложение правительства – если дирижабль сможет продержаться в воздухе на высоте 1200 м не менее суток, правительство купит его для нужд армии.
Для этой цели граф создал новую модель, в которой были учтены все недостатки, замеченные им в прежних конструкциях. Длина корабля была увеличена до 136 м, установлены двигатели по 110 л. с, а газовая вместимость доведена до 15 м3. И вот 1 июля 1908 г. LZ-4 совершил первый 12-часовой полет над Щвейцарией. Затем, после нескольких дополнительных проб и доработок, Цеппелин 4 и 5 августа совершил двухсуточный перелет. Правда, ему пришлось сделать по пути несколько остановок, и весь полет закончился полной катастрофой; сильный порыв ветра перевернул корабль, ударил носовой частью о землю, в результате чего произошел взрыв, и разгоревшийся пожар полностью уничтожил цеппелин. При этом один человек погиб и двое получили ранения.
Тем не менее, в Германии создается общество ревнителей, благодаря которому собраны достаточные средства для продолжения работ. Модернизированный LZ-3 приобретается правительством для нужд армии. В 1909 г. LZ-5, после полуторасуточного путешествия, также куплен государством. В этом же году граф совершил перелет до Берлина и обратно на LZ-6, преодолев почти 600 км за 22,5 часа. Во Франкфурте-на-Майне создается акционерное общество, поставившее задачу организации пассажирского воздушного сообщения посредством дирижаблей.
Из газеты «Русская мысль» от 23 сентября 1909 г.: «Граф Цеппелин – старый барин, важный, молчаливый, строгий, с обликом Бисмарка и манерами маркиза Позы. Он, как известно, поместный „юнкер“ по рождению, кавалерист по карьере, отставной генерал по своему нынешнему положению в обществе, по убеждениям узкий консерватор и пиэтист; на всех и на все, кроме только Берлина и Потсдама, глядит он сверху, даже направляясь за облака, увешивает свою грудь орденами и держит себя в своей мертвой и замкнутой фридрихсхафенской резиденции, точно в осажденной крепости. Каким образом он мог подарить миру свое замечательное изобретение – необъяснимо».
В 1910 г. 22 апреля на военных маневрах из-за сильного ветра терпит катастрофу LZ-5. 28 июня терпит крушение первый пассажирский LZ-7 («Германия»]– первое приобретение акционерного общества. 14 сентября в Бадене взорвался LZ-6. Цеппелин восстановил LZ-7, сделав его LX-8 («Эрзац-Германия»), и построил LZ-9. Однако 16 мая 1911 г. при подведении к ангару в Дюссельдорфе LZ-9 ветром разбило вдребезги; целыми остались только моторы. LZ-10 также сгорел в Дюссельдорфе, врезавшись в свой ангар.