Родился 8 апреля 1846 в г. Мещовске Калужской губ. в дворянской семье немецкого происхождения. Учился в варшавской (1857–1863), затем калужской Николаевской гимназии, получив за успехи золотую медаль (1863). Окончил юридический факультет Московского университета (1867) и был определен кандидатом на судебные должности при прокуроре Московского окружного суда с чином коллежского секретаря. Занимался расследованием преступлений. В 1868 его перевели на ту же должность во Владимирский окружной суд. С 1870 товарищ прокурора Тульского окружного суда. В 1873 назначен сначала вологодским губернским прокурором, после открытия там нового суда (1874) — прокурором Вологодского окружного суда. В 1876 переведен на службу в Царство Польское на должность товарища прокурора Варшавской судебной палаты. В 1879 руководил ревизией Киевской губернской прокуратуры. 13 июля 1879 назначен исправляющим должность прокурора Петербургской судебной палаты, 20 апреля 1880 утвержден в должности. На этом посту непосредственно занимался расследованием взрыва, устроенного народовольцами в Зимнем дворце (5 февраля 1880), лично докладывал императору Александру II о ходе следствия. В 1881 проводил расследование обстоятельств покушения на Александра II. Для поддержания обвинения по этому делу выделил в Особое присутствие Сената одного из лучших прокурорских работников — своего заместителя Н. В. Муравьева. В апреле 1881 только что вступивший на престол император Александр III назначил Плеве директором Департамента государственной полиции МВД. В этом качестве он принимал участие в разработке Положения 14 августа 1881 о государственной охране, которое должно было противодействовать революционному движению, и в подготовке проекта закона о местном самоуправлении. 20 июля 1884 назначен сенатором 1-го департамента Сената. С января 1885 товарищ министра внутренних дел (с оставлением сенатором), с января 1894 государственный секретарь, с 1899 также исправляющий должность статс-секретаря Великого княжества Финляндского, в 1900 утвержден в этой должности. В апреле 1902 (после убийства Д. С. Сипягина) принял портфель министра внутренних дел. Был непримиримым противником оппозиционных и революционных движений. Умный, работоспособный, пренебрежительно относился к людям, что вызывало ненависть к нему.
Награжден многими российскими орденами, а также французским орденом Почетного легиона (1902).