Родился в Москве в именитой дворянской семье. Получил блестящее домашнее образование. Учебу продолжил за границей, в Йенском университете. Великолепно знал многие иностранные языки, в том числе и древние. В 1819 выдержал экзамен в Московском университете и поступил на службу актуариусом (регистратором) в Коллегию иностранных дел. В мае 1824 назначается 2-м секретарем миссии в Мадриде. Направляясь к месту службы, начинающий дипломат посетил Веймар, где встретился с великим немецким поэтом Гете. Затем побывал в Париже, блеснув там своей светскостью и образованностью. В Россию Панин вернулся уже при новом императоре, в феврале 1826, и сразу же стал камер-юнкером. В апреле 1828 граф Панин попадает в военно-походную канцелярию императора, который отправился в действующую армию. С 1829 по 1931 исправлял должность поверенного в делах в Греции. За успехи на дипломатическом поприще получил чин статского советника и придворное звание камергера Двора его императорского величества.
В ноябре 1831 В. Н. Панин становится помощником статс-секретаря Государственного совета по департаменту законов, в апреле 1832 — товарищем министра юстиции, а в декабре того же года еще и статс-секретарем императора.
31 декабря 1839 Панин вступил в управление Министерством юстиции, а 16 апреля 1841 император утвердил его в должности министра юстиции и генерал-прокурора. В конце 1850-х Панин вошел в комитет, занимавшийся крестьянским вопросом, а в 1860 возглавил Редакционную комиссию, вырабатывавшую Положение об освобождении крестьян. В 1861 «за огромные и полезные труды» получил орден Св. Андрея Первозванного.
21 октября 1862 граф В. Н. Панин был освобожден от обязанностей министра юстиции, но остался членом Государственного совета. В феврале 1864 стал главноуправляющим 2-м отделением Собственной Его Императорского Величества канцелярии и занимал эту должность до апреля 1867, когда был уволен по болезни. Император вручил ему алмазный знак ордена Св. Андрея Первозванного. В мае 1872 Панин оставил и пост члена Государственного совета. Последние годы жизни проживал за границей.
Граф В. Н. Панин скончался 12 апреля 1874 в Ницце (Франция); похоронен в фамильном склепе в Троице-Сергиевой пустыни под Петербургом.