Заслуги младшего брата Хулюй Гуана по имени Хулюй Сянь тоже были значительны. Хулюй Сянь был начальником округа Ючжоу, тщательно и добросовестно занимался управлением войсками, сооружением крепостных стен и обучением войск, построением ирригационных сооружений, развитием сельского хозяйства, управлением приграничными землями. Тюркские народы с севера не осмеливались вторгаться на его земли и называли его «южным ханом». Хулюй Гуан не только был назначен помощником императора, но и пожалован в князи. Его дочь была императрицей при императоре Гао Вэе (сын Гао Чжаня, историческое прозвище «последний государь династии»). Еще две дочери были женами наследника престола. Из потомков трое женились на императорских дочерях. Многие говорили: «Нынче, кроме императорской семьи, самая влиятельная семья — Хулюй». Но ветеран Хулюй Цзинь, услыхав такие слова, совсем не обрадовался. За эти годы императоры Северной Ци один сменял другого, один был свирепее другого. Они были не только недоверчивы, но и коварны и вероломны, да еще и специально использовали подхалимствовавших льстецов. Даже императрицы и наложницы были втянуты в это. Хулюй Цзинь видел это и очень беспокоился за свою семью. Он говорил домашним: «Я хоть и не читаю книг, но знаю события прошлых эпох. В династии Поздняя Хань были родственники человека по имени Лян Цзи, которые пользовались влиянием несколько лет, заносчивые и своевольные до невозможности, но в конце все равно были уничтожены. Из нашей семьи тоже есть императрицы и наложницы, родственники и свойственники императора по материнской линии. Надо быть осторожными. Они приобретают благосклонность императора, это вызывает ревность других наложниц. Потеряют расположение, и император их забросит. Помните, наша семья до сих пор была предана государству, богатство и знатность мы получили благодаря заслугам на поле боя, а не женскому очарованию».
Вскоре после этих слов восьмидесятилетний Хулюй Цзинь умер. Он не мог предугадать, но не прошло и нескольких лет, как семью Хулюй постигла беда. Хулюй Гуан помнил слова отца, все время экономно вел домашнее хозяйство, не общался с порочными чиновниками, но злые люди все же нашли способ навредить ему. Наследник престола Гао Вэй был в крайней степени невежественным императором, довольно бездарным, и всю верховную власть передал кормилице Лу Линсюань и ее сыну Му Типо. Мать с сыном к тому же продвинули слепого писателя по имени Цзу Тин. Эти трое стали доверенными людьми императора, целыми днями замышляли, как проучить противника. Цзу Тин, несмотря на слепоту, все же был способным и эрудированным, красноречивым, и дурачил Гао Вэя, рассказывая, что к чему. Хулюй Гуан был главным помощником императора, к тому же, тестем императора, выглядел неуклюже, время от времени ворчал на них. Он говорил подчиненным: «С тех пор, как слепец получил власть, он ни в чем со мной не советуется. Я боюсь, что эта компания нанесет ущерб своей стране». Эти слова дошли до Цзу Тина, он дал взятку слуге Хулюй Гуана, чтобы тот сообщал все, о чем говорит Хулюй Гуан. Слуга сказал: «Главный помощник императора каждый вечер тяжело вздыхает, говорит, что слепой у власти и стране конец». Цзу Тин с тех пор возненавидел Хулюй Гуана. У Му Типо тоже с ним не задалось. Он отправил людей к Хулюй Гуану свататься, хотел взять в жены дочь Хулюй Гуана. Но и не думал, что тот даже внимания на него не обратит. Гао Вэй хотел земли Цзиньяна даровать Му Типо. Хулюй Гуан, протестуя, говорил: «Цзиньян со времен Шэнь У-ди (Гао Хуань) — это место, где выращивают провиант и разводят лошадей для армии. Если отдать Му Типо, это пойдет во вред военному снабжению, ни в коем случае нельзя этого допустить!». Му Типо тоже возненавидел Хулюй Гуана.