После краткосрочного пребывания в Москве в 1945 году Рафаэль Хволес вернулся в Вильнюс, где узнал, что его родители Моше (1888–1942) и Хава-Лея (1896–1942) и три сестры были убиты нацистами; из всей большой семьи спастись удалось только двум сестрам, Софии и Ривке (обе они к настоящему времени ушли из жизни). С тех пор развалины родного города, особенно еврейского квартала, его улочки и дворы стали основным мотивом творчества Р. М. Хволеса. Многое из навсегда утраченного погибло не в годы Холокоста, а впоследствии, в конце 1940-х годов еще сохранившись, пусть и не в первозданном, но виде, позволявшем представить изначальный облик тех или иных зданий и улиц — так, фрагменты здания Вильнюсской Хоральный синагоги были снесены до основания только в 1955 году, до этого здание можно было восстановить! Помня об этом, очевидно, что созданный Р. М. Хволесом в те годы цикл работ «Вильнюсское гетто» является уникальным художественно-историческим и этнографическим документом. От художников не ждут того, что именно их работы позволят потомкам сохранить в памяти те или иные исторические пласты, для этого есть фотографы, с одной стороны, и ученые-историки и этнографы, с другой. Однако в случае Р. М. Хволеса уникальна именно его роль художника-летописца, сохранившего для будущего то прошлое, о котором практически некому даже рассказать: литовцы оплакивают другие потери, а евреев, помнивших, как выглядели населенные их предками улицы и дворы в центре Вильнюса, почти не осталось.
В Советской Литве отношение к Р. М. Хволесу было двойственным, что отражало отношение властей к евреям в целом: с одной стороны, в 1951 году он был принят в Союз художников СССР, его включили в состав творческих групп, посетивших Грузию и Латвию. С другой стороны, его работы на еврейские темы никогда не экспонировались, а поскольку других у него почти не было, то и выставок у него за все четырнадцать послевоенных лет, которые он прожил в Вильнюсе, не было ни одной. 24 августа 2004 года на доме по адресу ул. Тилто, дом № 13, где с 1945 по 1956 год проживал Р. М. Хволес и где в 1951 году родился его младший сын Милий, в честь художника была установлена мемориальная доска, однако непосредственно в те годы творчеством Р. М. Хволеса в Вильнюсе, кроме отдельных ценителей, никто не интересовался. Власти были готовы дать художникам еврейского происхождения возможность вести активную выставочную и педагогическую деятельность при условии, что те станут воспевать праздничные будни социалистического строительства, — тем же, кто вождям революции и продолжателям их дела предпочитал развалины синагог и работы на библейские темы, советское государство ничего предложить не могло и не хотело.
В 1957 году было принято решение о том, что уроженцы и обладатели гражданства Польши, жившие в СССР, смогут вернуться на родину. Несколько десятков тысяч человек воспользовались этой возможностью, в том числе сестры Р. М. Хволеса, Ривка и София, почти сразу направившиеся из Польши в Израиль. Сам Р. М. Хволес колебался, но в 1959 году, не видя никаких перспектив для еврейской культуры в СССР, все же решил уехать — сестры его к тому времени Варшаву уже покинули, из всей когда-то большой семьи он оказывался в новой стране (а Польская народная республика Владислава Гомулки мало напоминала межвоенную Польшу Пилсудского — Мосцицкого) один. Третий раз начиная жизнь в значительной мере заново, Р. М. Хволес едва ли мог знать, что и эта эмиграция для него не последняя, что через десять лет придется подыматься в путь вновь.