В 1861 году Вирхов был избран одновременно в состав берлинского муниципалитета и в состав прусского парламента. В ландтаг (парламент) он был избран громадным большинством. Кандидатура его была выставлена его учеником еще по силезскому докладу, д-ром Нейманом. Благодаря своему организаторскому таланту, привычке к точному мышлению, критическому уму Вирхов скоро выдвинулся среди гласных берлинской городской думы.
Он во весь рост поставил вопрос оздоровления Берлина и в первую очередь очистки Берлина от отбросов и нечистот. Но канализация тесно связана с водопроводом: без водопровода не может быть правильной (промывной) канализации. Вирхов прежде всего требовал снабжения населения Берлина доброкачественной водой и в достаточном количестве. Он требовал далее постройки сооружений, собирающих все отбросы и сточные воды. Наконец он требовал вывода канализационных вод за пределы Берлина и обеззараживания их.
Все эти мероприятия были тогда совершенно новыми. Правительство снарядило в Англию и Францию научные экспедиции для изучения этого дела на месте. Магистрат города, при активном участии Вирхова, внимательно изучил материалы, собранные этой экспедицией. Лишь в 1872 году Вирхов представил доклад по вопросам канализации Берлина, причем резко высказался против спуска сточных вод в протекавшую через город реку Шпрее. Особенно тщательно изучался вопрос о методах дезинфекции канализационных вод: обеззараживание их химическим путем было дорого и мало продуктивно; превращение отбросов в пудрет тоже не давало хороших результатов. Наконец остановились на мысли спускать канализационные воды и отбросы на поля орошения. И Берлин гордится до сих пор своими знаменитыми полями орошения и канализацией, страхующей население от распространения так называемых «водных инфекций» — брюшного тифа, холеры, дизентерии и т. д.
Этими сооружениями Берлин обязан Вирхову. И эта победа досталась Вирхову не без борьбы: «Большой борьбы стоило, — вспоминает Вирхов, — чтобы городское представительство приступило к этим грандиозным предприятиям. Долгие годы исследования предшествовали этому, но, наконец, муниципалитет в силу собственного убеждения принял решение и уже твердо держался его даже тогда, когда взгляд властей изменился и когда прорицатели несчастья выросли из земли как грибы. И вот Берлин сделался чистым, здоровым, в известной степени даже можно сказать красивым городом».
Благодаря настоянию Вирхова был проведен также ряд санитарных мероприятий в больницах, школах, в рабочих жилищах. Конечно, городские больницы не были подняты на ту высоту, о которой когда-то мечтал молодой Вирхов в своем «Общественном здравоохранении»: они не стали центрами научно-педагогической работы и правильной организации лечебной помощи городской бедноте. Но все же благодаря настоянию Вирхова кое-какой порядок в больницах был установлен. Много внимания Вирхов уделял также положению врачей. По инициативе Вирхова была построена громадная барачная больница в Моабите для эпидемических больных; в результате его упорных стараний была построена большая детская больница в Берлине. Наряду с работой в берлинском муниципалитете Вирхов развернул широкую деятельность и в прусском ландтаге. Он сделался одним из вождей «прогрессивной», а потом — «свободомыслящей партии». Эта партия была в основном мелкобуржуазной, с радикальным оттенком. Думая, что они «свободно мыслят», члены этой партии выражали мысли мелкой буржуазии, в частности мелкобуржуазной интеллигенции. «Мелкий буржуа, — писал Ленин еще в 1906 году в статье «Победа кадетов и задачи рабочей партии», — неминуемо и неизбежно во всех странах и при всяких политических комбинациях колеблется между революцией и контрреволюцией». Именно так колебался Вирхов в своей политической жизни. Иногда в ландтаге он становился в резкую оппозицию правительству. В 1865 году, в заседании бюджетной комиссии, он так резко поспорил со всемогущим Бисмарком, что поговаривали о возможной дуэли его с «железным канцлером», по вызову последнего. Но с годами оппозиционный пыл Вирхова угасал, все чаще слышались в его речах нотки о том, что «нужно сохранить старое и лишь надстроить новое», «мы стремимся к реформам, а не к революции», а после 1870 года он все чаще и все резче выступает против социалистов и за сотрудничество с прусским юнкерским правительством.
В 1880 году Вирхов был избран в германский рейхстаг. В первом же заседании рейхстага, 10 мая 1880 года, Вирхов обратился к депутатам с программной речью, в которой он объявлял себя «совершенно свободным от чувства ненависти или антипатий» к Бисмарку, хвалился тем, что его партия «не отвергала какого-либо мероприятия только потому, что князь Бисмарк одобрял, вносил и защищал эту меру». «Напротив, мы всегда были рады голосовать за какую-либо меру, внесенную князем Бисмарком».