Ferdinand Zeppelin egy württembergi miniszter fiaként a Konstanzi-tó szigetén lévő szállodában született 1838-ban. Édesapja a svájci Emmishoffenbe küldte, ahol unokatestvérei társaságában nőtt fel és ahol haláláig lakott. 1853-ban a stuttgarti műszaki középiskolába járt, majd 1855-ben a ludwigsburgi katonai középiskola kadétja lett. 1858-ban hadnagyi rangot kapott és a tübingeni egyetemen államtudományok, gépészet és kémia szakokon kezdett tanulmányokat. 1859-ben behívták a műszaki alakulatokhoz, 1863-ban az amerikai polgárháborúban megfigyelőként vett részt. Az 1866-os porosz–osztrák háborúban már törzskari tisztként szolgált. Zeppelin 1869. augusztus 7-én Berlinben megnősült, feleségétől Helena von Wolfftól egy leánygyermeke származott. Egy évvel később már a Porosz–francia háborúban az ellenséges vonalak mögött harcolt.

1882–85 között az ulmi lovasságnál szolgált. 1891-ben a császárt kritizáló kijelentései miatt eltávolították a hadseregből.

1880-tól kezdve foglalkoztatták a gázzal töltött léghajók. Miután 1897-ben meghalt a magyar, keszthelyi születésű feltaláló Schwarz Dávid, özvegyétől megvásárolta, majd 1898-ban levédette a fémszerkezetű léghajó ötletét. 1899-ben elkezdte az első saját léghajó építését és egy évvel később már három repülést hajtott vele végre a Boden-tó fölött. Az egyre jobb repülési eredmények egyre nagyobb érdeklődést és népszerűséget teremtettek személye körül. A második léghajó megvalósítását csak adományokból tudta elkezdeni. 1908-ban az új léghajó Kornsand közelében a földbe csapódott. A baleset példátlan adakozási hullámot váltott ki a németekből. 6 millió márka érkezett Zeppelinhez, aki e pénzből létrehozta a Zeppelin Léghajógyárat és a Zeppelin alapítványt. A hadsereg megvásárolta és hadrendbe állította a Zeppelint, de 1909-től kezdve a polgári használata is lehetségessé vált. A Zeppelin-léghajókra alapozott Német Légiforgalmi Társaság (DELAG) 1914-ig 1500 felszállása során 35000 utast szállított balesetmentesen. Az első világháború során épített nagyszámú léghajót bombázásokra és felderítésekre használták, ám ezeket a technikai fejlődés gyorsan túlhaladta.

Zeppelin még az első világháború vége előtt meghalt. A gróf ma hat német város (Friedrichshafen, Worms, München, Stuttgart, Baden-Baden és Ulm) díszpolgára.