5-я танковая дивизия отходила на Вильнюс. А в самом городе в это время из боеспособных частей имелись только 84-й полк НКВД, две-три батареи 12-й бригады ПВО[54]
, подразделения 84-й моторизованной дивизии. 23 июня сюда вернулось из летних лагерей пехотное училище. Однако в этот же день началось оставление города советскими войсками. В направлении Молодечно ушел 84-й полк НКВД. Подразделения 84-й моторизованной дивизии, занимавшие оборону на окраине города, самостоятельно снялись и ушли к Двинску, где впоследствии действовали как отряд полковника Г. А. Белоусова (так называемая «сводная дивизия»). Снялся с позиций и ушел к Браславу (а затем и к Двинску) 349-й зенитный дивизион.При отходе к Вильнюсу обескровленной 5-й дивизии, измотанной сутками почти непрерывного боя, вероятно, удалось ненадолго оторваться от противника. Фактически соединение в значительной мере утратило боеспособность, целостность его также была нарушена. Еще и ночь на 23 июня некоторые части дивизии разновременно отходили от Алитуса, часто в разных направлениях, теряя связь со штабом и ядром главных сил, которое составлял 9-й танковый полк. Есть данные о том, что штаб дивизии (возможно, со спецподразделениями) продвигался на Ошмяны, а оперативная группа штаба с комдивом находилась вместе с 9-м полком.
Отойдя к предместьям Вильнюса, подразделения дивизии заняли оборону на южной и западной окраинах города. На прямую наводку была поставлена вся артиллерия (часть 5-го гап и зенитная артиллерия — последняя, вероятно, из 12-й бригады ПВО, так как 5-й оэад погиб в Алитусе). Огонь советской артиллерии оказался достаточно эффективным, однако немцы, не обращая внимания на потери, стремились во что бы то ни стало захватить столицу Литовской ССР. Уже упоминаемый немецкий танкист Орлов писал: «
5-я танковая дивизия оставила город и отходила основной группой на Ошмяны, однако некоторые подразделения и отдельные бойцы выходили в самых различных направлениях.
Так, согласно донесению АБТУ СЗФ № 1 от 2 июля 1941 года 26 июня бойцы дивизии стали появляться в районе Полоцка, 30 июня — в районе Пскова. А несколько артиллеристов смогли довезти одну из уцелевших гаубиц на тракторе СТЗ-5 почти до Минска, где и передали ее по акту начальнику артиллерии стрелковой дивизии 13-й армии.
В середине дня 24 июня полковник Ф. Ф. Федоров прибыл на командный пункт 13-й армии, развернутый в Молодечно. Как вспоминает бывший начальник оперативного отдела армии С. П. Иванов свою встречу с комдивом-5 в тот день, Федоров сильно переживал за неудачные действия своего соединения. «
Несмотря на приказ, остатки дивизии откатывались с такой скоростью, что уже к исходу 24 июня отряд в составе 15 танков, 20 бронемашин и 9 орудий, во главе с комдивом Ф. Ф. Федоровым, оказался и окрестностях Молодечно.
Этот отряд 5-й танковой дивизии стал первым соединением 13-й армии, которое до 24 июня ничего, кроме управления, не имела. В тот же день командарм-13 генерал Филатов приказал свести все боевые машины 5-й тд в боевую группу под командованием полковника И. П. Веркова и совместно с курсантским батальоном Вильнюсского пехотного училища и 84-м полком НКВД нанести удар по танковой колонне противника, продвигающегося на Молодечно от Ошмян.