16 апреля 1871 года, в день принятия конституции Германской империи, Бисмарк стал первым рейхсканцлером только что созданной Германской империи, оставшись одновременно главой правительства и министром иностранных дел Пруссии. За решительность и твердость в отстаивании своей линии он получил прозвище «железного канцлера». Император и прусский король Вильгельм I считал Бисмарка гением и полностью доверил ему ведение как внешней, так и внутренней политики. Когда однажды «железный канцлер» пригрозил ему отставкой, Вильгельм отверг саму мысль о подобном шаге: «Ваше имя в истории Пруссии стоит выше, чем чье-либо еще. И его я должен потерять? Никогда». Кроме того, Бисмарк имел поддержку большинства депутатов имперского парламента – рейхстага. Он реформировал имперские финансы, разработал основы имперского законодательства и создал систему органов управления империей. Он начал борьбу с католической церковью, стремясь устранить влияние религиозных учреждений на сферу образования. Эта кампания вошла в историю под названием «культуркампфа» – борьбы за культуру. В стране был введен гражданский брак, епископы назначались только с согласия властей, а священнослужители лишились права состоять на государственной службе. Однако главных целей кампания так и не достигла. Влияние католической партии Центра в рейхстаге возросло, равно как и популярность гонимой католической церкви. В конце концов ряд ограничительных законов «культуркампфа» пришлось отменить.
Во внешней политике главной целью Бисмарка стала дипломатическая изоляция Франции, чтобы предотвратить реванш с ее стороны. Он создал в 1873 году «Союз трех императоров» – германского, австро-венгерского и русского, которые договорились консультироваться по всем важным внешнеполитическим вопросам. Однако из-за противоречий между Россией и Австро-Венгрией на Балканах эта комбинация оказалась очень неустойчивой. В Петербурге очень не нравилось, что Германия явно испытывала большую близость к Австрии, чем к России. Поскольку «железному канцлеру» приходилось сохранять хорошие отношения как с Веной, так и с Петербургом, то на созванном по его инициативе Берлинском конгрессе 1878 года, где должны были быть урегулированы противоречия между великими державами в связи с русско-турецкой войной, германский канцлер оказался в сложном положении. Так как Россия стремилась к созданию зависимой от нее Болгарии на большей части Балканского полуострова, а Австрия этому препятствовала, то Бисмарк, не поддерживая Австрию, лишен был также возможности активно содействовать России, и вынужден был соблюдать нейтралитет. Позиция же Австрии в данном случае совпадала с позициями Англии и Франции, чьей задачей было не допустить Россию к проливам. В результате проигравшей на конгрессе стороной оказалась российская, и она обвинила в своем проигрыше Бисмарка, на которого прежде рассчитывала как на союзника.
После Берлинского конгресса 1878 года, где были сильно урезаны плоды победы России в войне с Турцией, русско-германские отношения значительно ухудшились. Император Александр II и его окружение подозревали, что Бисмарк не приложил должных усилий, в благодарность за нейтралитет России во франко-прусской войне, чтобы не допустить столь большого ущерба русским интересам на конгрессе. Кроме того, Россия все больше сближалась с Францией, и именно твердая позиция Петербурга не допустила вторичного военного разгрома Франции Германией в 1870-е годы. В 1879 году Бисмарк заключил тайный союз с Австро-Венгрией, направленный против русской экспансии на Балканах. Однако, чтобы не оказаться втянутым в войну с Россией из-за балканской политики Вены, Бисмарк оговорил для Германии право вето на австрийские действия в восточном вопросе, которые должны были предприниматься после предварительной консультации с Берлином. В 1881 году Бисмарку удалось возобновить Союз трех императоров. На этот раз договор предусматривал нейтралитет для каждой из сторон, если партнер по Союзу вступит в войну с какой-либо другой державой, подвергнувшись нападению с ее стороны. Это гарантировало Германию от возможности войны на два фронта.
В 1882 году, воспользовавшись противоречиями между Францией и Италией из-за Туниса, Бисмарк привлек к австро-германскому союзу Италию. Все три государства заключили оборонительный Тройственный союз против Франции. В 1887 году по инициативе Бисмарка Австрия и Италия заключили соглашение с Англией о сохранении статус-кво в районе Средиземноморья.
Созданная Бисмарком система союзов, несмотря на все противоречия между ее участниками, гарантировала Германию от французского, а Австрию – от русского нападения. Германский канцлер поощрял французскую колониальную экспансию, что неизбежно сталкивало французские и британские интересы, а также отвлекало Париж от проблемы Эльзас-Лотарингии.