Ли Юань был уроженцем Чэнцзи в Лунси (Чэнцзи находился к северо-западу от Циньаня в провинции Ганьсу), а также родственником императорской семьи Суй Ян-ди: императрица Дугу была его теткой, а он приходился двоюродным братом императору Суй Ян-ди. Дед и отец Ли Юаня были великими чиновниками династий Западная Вэй и Северная Чжоу, и он унаследовал титул гогуна царства Тан, когда был еще ребенком. Благодаря этой связи его чиновничья карьера не пошла на убыль, он служил губернатором во многих местах, а когда ваганская армия воевала в провинции Хэнань, его назначили правителем Тайюаня.
Вскоре после прибытия Ли Юаня в Тайюань тюрки с севера пришли с целью вторжения, и он начал готовился к бою, тогда повстанческая армия с юга также нанесла удар. Ли Юань был вынужден разделить войска на две части, отведя свои собственные войска на юг и отправив своего заместителя Гао Цзюньи отбиваться от тюрок. Лидером повстанческой армии был Вэй Даоэр по прозвищу Ли Шаньфэй. Ли Юань и его второй сын Ли Шиминь повели солдат сражаться с Ли Шаньфэем и прогнали его. Прежде чем он успел обрадоваться, он услышал, что Гао Цзюнья проиграл тюркской стороне, потеря была довольно тяжелой. Ли Юань забеспокоился, что дворобвинит в этом его. Когда император услышал об этом в Цзянду, он приказал доставить его в Цзянду для привлечения к ответственности. Хотя император Суй Ян-ди был родственником Ли Юаня, он знал, что тот хитрый, поэтому воспользовался этой возможностью, чтобы очистить его. Ли Юань знал, что поход в Цзянду ничем хорошим не закончится, поэтому у него был готов план. С годами он увидел, что мятежные армии становятся все сильнее и сильнее, и уже готовился к этому, прося своих сыновей собирать таланты и расширять армии, чтобы, если династия Суй не сможет удержаться, он восстанет, чтобы захватить страну.
Ли Юань размышлял об этом, когда вошел Ли Шиминь и осторожно сказал: «Сейчас повсюду восстания, вы сможете их всех подавить? Теперь вы будете наказаны императором. Почему бы вам не присоединиться к восстанию в соответствии с желаниями народа, чтобы превратить бедствие в благословение? Разве это не воля Божья?» Ли Юань сказал с расширенными глазами: «Если у тебя есть такая идея, ты будешь привлечен к ответственности и наказан!» Ли Шиминь улыбнулся и сказал: «Если вы действительно хотите подать на меня в правительство, я не посмею не умереть». Затем Ли Юань прошептал: «Я уже давно понял, что династия Суй подходит к концу, поэтому я не восстал сразу, потому что наши люди слишком рассеяны. Теперь, когда правитель хочет запереть меня, я должен восстать, чтобы избежать уничтожения моей семьи».
Затем отец и сын начали строить планы. Через несколько дней в Тайюань из других мест прибыли старший сын Ли Цзяньчэн, четвертый сын Ли Юаньцзи, (третий сын Ли Сюаньба умер рано) и зять Чай Шао. Пэй Цзи, заместитель начальника дворца Цзиньян (дворец императора Суй Ян-ди), и Лю Вэньцзин, начальник уезда Цзиньян, долгое время были доверенными лицами Ли Юаня, и теперь они также помогали с идеями. В конце все пришли к решению, что вместо Лояна они отправятся прямиком в Чанъань, а в Чанъане будут уважать традицию династию Суй и не разрушать ее, сделав императора Суй Ян-ди тайшан хуан (титул императора, передавшего при жизни престол сыну), а князя Яна Ю новым императором. Заместитель наместника Тайюаня Ван Вэй и Гао Цзюнья услышали, что Ли Юань собирается восстать, и захотели убить его, когда он пошел в Цзиньчи помолиться о дожде. Ли Юань получил секретный отчет, поэтому он оклеветал Ван Вэя и Гао Цзюнью за попытку привести тюрков и убил их обоих. Таким образом, в Тайюане больше не было препятствий. Летом 617 года нашей эры Ли Юань оставил Ли Юаньцзи охранять Тайюань, лично возглавил армию численностью 30 000 человек и направился прямо в Чанъань.