Прадед маршала Юзеф Рокоссовский 12 ноября 1811 года был «избран и назначен» подпоручиком Второго кавалерийского полка армии Великого герцогства Варшавского — польского государственного образования, созданного Наполеоном I и находившегося под его личным протекторатом. Юзеф Рокоссовский еще был дворянином, поскольку поступил на службу офицером, но уже его сын Ян Винценты был не шляхтичем, а всего лишь подлесничим (помощником лесничего). Дело в том, что многие польские дворяне в момент присоединения Польши к Российской империи не имели в собственности крепостных, а порой и земли, и по своему положению мало чем отличались от крестьян. При этом шляхта была весьма многочисленна. Уже в XVI веке она составляла 8 процентов населения Речи Посполитой, а в Мазовии и Подляшье — более 20 процентов. Царское же правительство не без оснований полагало, что польское шляхетство сохраняет вольный дух и стремится избавиться от русского господства, что особенно ярко проявилось в восстаниях 1830–1831 и 1863–1864 годов. Поэтому власти старались всячески уменьшить численность шляхтичей сначала в Западном крае, на территориях Литвы, Белоруссии и Украины, прежде входивших в состав Речи Посполитой, а потом и в царстве Польском, после его присоединения к Российской империи в 1815 году. Согласно указу от 29 марта 1812 года шляхетское звание признавалось только за теми, за кем оно уже было ранее утверждено. На комиссию, проводившую ревизию 1816 года, была возложена обязанность рассмотреть права лиц, называвших себя шляхтою, с точки зрения наличия записи о них в ревизских сказках 1795 года. Тех, кто не смог подтвердить свое шляхетство, записывали вольными хлеборобами, государственными крестьянами либо мещанами.
После восстания 1830–1831 годов Комитет Западных губерний, помимо прочего, занялся решением проблем шляхетского сословия. 19 октября 1831 года был издан закон «О разборе шляхты в Западных губерниях и об упорядочении такого рода людей». Всех шляхтичей, не способных подтвердить свое дворянство документами, зачисляли в специально созданные сословия однодворцев и граждан (горожан) Западных губерний. Шляхетства лишались и те польские шляхтичи, которые не имели земли или, имея землю, не имели крепостных. При этом к православной шляхте подход был гораздо более либеральным. Для подтверждения шляхетства принимались и явно фальшивые дипломы, которые в массовом количестве изготовлялись за умеренную плату на украинских и белорусских землях. В частности, большое количество таких поддельных дипломов было предъявлено во второй половине XVIII века, когда в дворяне старались записаться бывшие украинские вольные казаки. Так, отец писателя Николая Гоголя Василий Яновский имел диплом о даровании шляхетства Могилевскому полковнику Остапу Гоголю в 1674 году польским королем Яном Казимиром. Герольдию, в отличие от последующих исследователей, не смутило, что Ян Казимир отрекся от престола еще в 1668 году.
Указом 19 января 1866 года сословия однодворцев и граждан Западных губерний были упразднены и все польские шляхтичи, не доказавшие своего дворянства, записывались крестьянами либо мещанами. Сам Константин Константинович был записан мещанином. Можно предположить, что предки Рокоссовского лишились шляхетства еще в 1840-х годах, поскольку они жили на территории царства Польского. Скорее всего, они не смогли представить бумаг, подтверждающих их шляхетство, и были записаны в граждане, а потом и в мещане.
По семейному преданию, Ян Винценты рассорился с сыном Ксаверием Юзефом, будущим отцом нашего героя, потому что тот десятилетним мальчишкой сбежал из дома, чтобы принять участие в январском восстании 1863 года за возрождение независимой Польши, и отец с трудом разыскал его в районе Люблина. Сам Ян Винценты, впрочем, тоже не избежал заключения в Варшавской цитадели за сочувствие повстанцам.
Матерью Ксаверия и бабушкой Константина Константиновича была Констанция Холевицкая, состоявшая в родстве со знаменитой солисткой балета Варшавской оперы Хеленой Холевицкой. Можно предположить, что семья Яна Винценты Рокоссовского была достаточно состоятельной. Ксаверий, родившийся в 1853 году, по воспоминаниям его дочери Хелены, был мужчиной среднего роста, худощавым, но физически сильным. Он женился в конце 1880-х или в самом начале 1890-х годов, в возрасте около сорока лет, на учительнице Антонине (Атониде) Овсянниковой, из мещан местечка Телеханы Пинского уезда Минской губернии, которая, скорее всего, была значительно младше супруга. Она была русской и православной. Вероятно, тот факт, что Ксаверий Юзеф женился на русской, отдалил его от его польской родни.