По словам графа Федора Головкина, “днем он был камергером, Александровским кавалером, а ночью становился “истопником”. Однако высокие чины никогда не были для Чулкова лишь синекурой. Долгое время он исполнял обязанности обер-кригскомиссара в Москве – ведал снабжением войск деньгами, обмундированием, ручным оружием, обозным и лагерным снаряжением, госпиталями и др. А позднее, став камергером, заведовал выдачей денег из Кабинета ее величества (имя его упоминается в письмах Михаила Ломоносова и Александра Сумарокова, имевших с ним дело).
Писатель Казимир Валишевский называет его “человеком неподкупной честности”. Ему вторит Александр Герцен, говоря о душевной отзывчивости Чулкова и его потребности творить “добрые дела”. В качестве подтверждения сему он приводит “трогательное семейное предание” литератора Филиппа Вигеля. Оказывается, Чулков, приходившийся дальним родственником матери Вигеля, урожденной Лебедевой, был ее пестуном и воспитателем – он ее “вспоил, вскормил, берег и лелеял, оставил ей пример своих добродетелей”. И Вигель не устает благодарить Провидение, что семье их был ниспослан Чулков, “как будто, для того, чтобы дать защиту круглой сироте, [его] матери”. И о службе Василия Ивановича он самого лестного мнения: “Я знавал людей, кои помнили еще царствование Елисаветы Петровны, и со слезами умиления вспоминали об нем”.
Добавим к сему, что Чулков, как и его царственная хозяйка, был человеком богомольным и соблюдал все церковные обряды. В принадлежащем ему селе Гагино он в 1740-е годы поставил каменную церковь Великого Спаса, снабдил ее ризницей и богатейшей утварью, замечательной по своей ценности и древности (достаточно сказать, что здесь хранились 70 мощей разных святых). Он общался и вел переписку со многими видными иереями и особенно сблизился с настоятелем Московского Златоустовского монастыря архимандритом Лаврентием (-1758).
Вскоре после кончины своей повелительницы Елизаветы, 8 марта 1762 года, Чулков был уволен со службы, получив высокое звание генерал-аншефа. Он удалился из столицы в свое родовое имение село Гагино Александровского уезда Владимирской губернии, где доживал свой век с супругой Дарьей Семеновной, урожденной Брюховой (1694–1776). О ней известно мало. Происходила она из старинного, восходящего к началу XVI века дворянского рода, и вращалась в высших сферах (ее племянник Семен Брюхов, которому достался впоследствии московский дом покойного Чулкова, был выпускником балетной школы Жана Батиста Ланде и выступал на придворной сцене во времена Екатерины II).
Престарелые супруги немало времени проводили в молениях, а в 1769 году, по распоряжению Василия Ивановича, для Спасской церкви был отлит и освящен большой медный колокол. Похоронен Чулков здесь же. Его тело погребено на правой стороне, при входе в церковь, под столбом. К столбу прибита медная доска, на коей выгравирована стихотворная эпитафия, подводящая итог его земному бытию:
Такое возвеличивание Чулкова за его рабское и беззаветное служение императрице кажется чрезмерным и до смешного высокопарным. Но для этого есть и свои резоны. Василий Иванович все же останется в российской истории. Конечно, имя его сопрягается с делами амурными и предметом самым прозаическим – тюфячком у монаршего ложа. Но, как отметил историк, биография фаворитов царствующих особ “не представляет из себя главу любовной хроники; это глава истории России, и с ней следует ознакомиться – хотя бы рискуя натолкнуться на Чулкова… со своими подушками, матрацем и всем остальным”.