Среди тех, кого арестовали вместе с Виктором Владимировичем, были не только ученые-лингвисты, входившие в элиту нашей отечественной филологической науки, но и этнографы, искусствоведы… ОГПУ начало «раскручивать» сфальсифицированное дело о создании контрреволюционной Российской национальной партии. На допросах В. В. Виноградову среди прочего было предъявлено обвинение в… шпионаже. (Ничего нелепее не могли придумать! Виктор Владимирович — и вдруг контрреволюционер и шпион! Надо было знать этого человека!) Естественно, с подобными обвинениями он не согласился. Тем не менее ему грозила печально известная в те страшные 30-е годы статья 58 УК — «измена Родине», со всеми вытекающими отсюда последствиями.
К счастью, нашлись «в верхах» и просвещенные люди, знавшие цену выдающемуся ученому и понимавшие, что ему грозит: как могли они старались спасти его от неминуемой гибели. Главный редактор тогдашнего издательства «Энциклопедия» H. Л. Мещеряков, в свое время принимавший участие в революционных событиях, с мнением которого, очевидно, считались, прилагал усилия, чтобы «отхлопотать» (слово Надежды Матвеевны) для Виноградова «всего лишь» ссылку, заменить ею или лагерь, или самое страшное. Он высоко ценил Виктора Владимировича как ученого и его вклад в работу над созданием «Толкового словаря русского языка» и надеялся, что тот сможет в ссылке продолжить, по возможности, заниматься наукой.
Весной 1934 года В. В. Виноградов был сослан в Вятку (потом это стал город Киров), где прожил два года. Впоследствии ему разрешили поселиться лишь в небольшом подмосковном Можайске, так что в столицу к семье Виктор Владимирович мог приезжать ненадолго да и то нелегально. Жить в Москве он смог перед самой войной, но сразу после ее начала был снова выслан в Тобольск, поскольку считался «неблагонадежным» из-за судимости. Разрешили ему вернуться в Москву только в 1943 году…
Все эти бесконечные переезды не по своей воле, бытовая неустроенность, казалось бы, не могли способствовать нормальной работе ученого. Но именно 30—40-е годы, хотя и были самым тяжелым периодом его жизни, оказались для Виноградова на редкость плодотворными. В эти годы им было написано немало научных трудов, впоследствии принесших ему заслуженную славу. Его работоспособность поражала даже его близких. После ареста, находясь в камере на Лубянке, Виктор Владимирович и там не прекращал своих научных занятий. Когда его сослали в Вятку, он в письмах просил жену присылать ему как можно больше книг, необходимых для работы, которой он не прекращал ни на один день. Надежда Матвеевна старалась исполнять все просьбы мужа, а когда получала возможность навещать его в ссылке, то везла с собой целые кипы книг. В своих воспоминаниях (неопубликованных) она описывает, как Виктор Владимирович, совсем не умея отдыхать, сразу же по приезде в санаторий (это было уже в годы его полного признания) опять садился за стол и продолжал работать.
О том, в каких условиях ему приходилось заниматься наукой в ссылке, говорят его письма жене. С самого момента знакомства началась их переписка (они встретились в середине 1920-х годов). Это потрясающий документ, характеризующий масштаб личности этих истинно русских интеллигентов, удивительный стиль отношений — они всю жизнь уважительно обращались друг к другу на «вы»! Особенно интенсивной была переписка, когда Виктор Владимирович жил в Ленинграде и работал там в университете и в Институте истории искусств, а Надежда Матвеевна жила в родной ей Москве, куда Виноградов переехал лишь в конце 20-х годов. Так же много — иногда по три письма в день — Виктор Владимирович писал жене из Вятки, рассказывая о своей жизни в ссылке, делясь творческими планами, обращаясь с просьбами о присылке книг или интересуясь судьбой своих научных публикаций. В письме от 30 мая 1934 года он пишет ей о работе над «Толковым словарем»: «…Сегодня я освободился на время от словаря, сделал свой майский урок (или оброк): кончил букву «Т» и отослал Ушакову. Завтра я начинаю писать главу о стиле «Повестей Белкина» («Стиль Пушкина»)…»
Научные занятия В. В. Виноградова в ссылке контролировались местными органами ОГПУ, которые порой «изымали» у ученого его рукописи (явно для проверки на предмет «благонадежности» их содержания), которые потом приходилось «вызволять», пройдя через малоприятные процедуры встреч с чекистами. 22 ноября 1935 года Виктор Владимирович писал Надежде Матвеевне: