Родился в семье зажиточных магдебургских горожан. В 1617 году поступил на факультет свободных искусств Лейпцигского университета, но в 1619 году, в связи с началом Тридцатилетней войны, вынужден был перейти в Хельмштедтский университет, где проучился несколько недель. С 1621 по 1623 год изучал юриспруденцию в Йенском университете, а с 1623 по 1624 год — точные науки и фортификационное искусство в Лейденском университете. В 1626 году был избран в коллегиальный совет городского магистрата, членом которого оставался до преклонного возраста. Как чиновник отвечал за строительство, а в 1629 и 1630–1631 годах — ещё и за оборону города.
Следующие десять лет фон Герике осуществлял восстановление Магдебурга, уничтоженного пожаром в 1631 году, когда город взяли войска Католической лиги. В 1641 году стал городским казначеем, а в 1646-м — бургомистром. Эту должность он занимал тридцать лет.
В 1676-м Отто Герике по состоянию здоровья отказался от должности бургомистра, и только в 1678 году магистрат согласился с этим отказом.
Как физик Герике был прежде всего экспериментатором, вполне понимавшим научное значение опыта, тогда как наука в те времена еще была направлена на комментирование воззрений ученых античности.
Во время пребывания в Регенсбурге в 1654 году Герике узнал об опытах Торричелли. Возможно, что это известие побудило его заняться тем же вопросом или он сам додумался, но около 1657 года Герике устроил водяной барометр. И начал изучать его показания в зависимости от состояния погоды. Он состоял из длинной медной трубки, прикрепленной к наружной стенке трехэтажного дома Герике. Нижний конец трубки был погружен в сосуд с водой, а верхний, дополненный стеклянной трубкой, был снабжен краном и мог быть соединён с воздушным насосом. При выкачивании воздуха вода поднялась в трубке до высоты 19 локтей; тогда кран был закрыт, и барометр разобщался с насосом. Вскоре при помощи этого прибора Герике нашел, что атмосферное давление постоянно изменяется. Для большего эффекта на поверхности воды в стеклянной трубке был поплавок, имевший вид человеческой фигурки с протянутой рукой, которая указывала на таблицу с надписями, соответствующими различным состояниям погоды; вся остальная часть прибора была замаскирована деревянной обшивкой. В 1660 году он при помощи этого барометра предсказал сильную бурю за два часа до её начала.
Не зная ничего об изобретении ртутного барометра в 1643 году и о так называемой торричеллиевой пустоте, Герике около 1650 года изобретает воздушный насос.
Герике сначала хотел образовать пустое пространство в герметически закрытой бочке, удаляя наполнявшую её воду. С этой целью он ко дну бочки приделал насос, думая, что только при таком расположении прибора вода будет следовать за поршнем насоса вследствие своей тяжести. Когда эта первая попытка не удалась, так как в образующуюся пустоту сквозь щели и поры бочки проникал с шипением наружный воздух, Герике попробовал поместить свою бочку в другую, тоже наполненную водой, предполагая этим способом предохранить пустоту от устремляющегося в неё воздуха снаружи. Но и на этот раз опыт оказался неудачным, так как вода из наружной бочки под влиянием атмосферного давления протекала сквозь поры во внутреннюю и наполняла пустоту. Тогда, наконец, Герике решился насосом выкачивать воздух из медного шарообразного сосуда, все ещё придерживаясь предположения, что и воздух, подобно воде, может следовать за поршнем насоса только благодаря своей тяжести, поэтому насос был привинчен внизу сосуда и расположен вертикально. Результат выкачивания был совсем неожиданным и напугал всех присутствующих: медный шар не выдержал внешнего давления и с треском сплюснулся. Это заставило Герике приготовлять для следующих опытов резервуары более прочные и более правильной формы. Неудобное расположение насоса вскоре принудило Герике устроить специальный треножник и приделать к поршню рычаг; таким образом был устроен первый воздушный насос, названный автором Antlia pneumatica.
Герике изобрел именно воздушный разрежающий насос, поскольку нагнетательные насосы были известны ещё в древности, и их изобретение приписывается Ктезибию, жившему во II веке до н. э. в Александрии.
Опыты, которые Герике показывал публично со своими воздушными насосами, сделали его известным. Различные высокопоставленные лица нарочно заезжали в Магдебург, чтобы лично увидеть его изобретения. Общеизвестный опыт с магдебургскими полушариями был показан в 1654 году в Регенсбурге во время Рейхстага. Опыт доказал наличие давления воздуха.