Министры, осмелев в отсутствие Цзя Сыдао, припомнили все его злодеяния и призывали казнить его. На что вдовствующая императрица Се ответила: «Он служил при трех императорах, лучше просто отправить его в изгнание!». После чего она велела снять Цзя Сыдао с должности и отправить его в ссылку в Сюнчжоу (ныне уезд Лунчуань в провинции Гуандун). Когда с несколькими десятками наложниц он был на полпути туда, один из воинов, сопровождавших его, Чжэн Хучэнь, приказал ему покончить с собой. Но разве мог он добровольно согласиться умереть? Как раз тогда он болел дизентерией и часто страдал от диареи. Чжэн Хучэнь подгадал момент, когда Цзя Сыдао справлял нужду, и убил его.
Цзя Сыдао умер, однако императорскому двору это мало чем помогло. Армия династии Юань объявила о захвате Цзянькана и направилась к Линьаню. Вдовствующая императрица Се была настолько напугана, что издала императорский указ, призывающий все регионы послать войска на защиту Линьаня. Но местные власти не восприняли этот приказ всерьез. Все хотели посмотреть, что же будет. Если династии Сун наступит конец, каждый сам будет искать способ выжить. Вдовствующая императрица Се прождала несколько дней, но явилась лишь пара отрядов. Предводителем первого был Чжан Шицзе из Инчжоу (ныне уезд Чжунсян провинции Хубей), который изначально служил в монгольской армии под началом генерала Чжан Жоу, но впоследствии сдался армии династии Сун. Услышав, что Линьань оказался в плачевном положении, он тут же собрал войско и явился. Во главе второго стоял Вэнь Тяньсян из Ганьчжоу (ныне юго-западная часть провинции Цзянси). Вэнь Тяньсян был родом из Цзишуй (в центральной части провинции Цзянси), он занял первое место в императорском экзамене. Получив императорский указ, он немедленно собрал двадцать тысяч солдат и пришел на помощь.
К тому времени, люди уже покинули город, и Линьань остался без присмотра властей. Когда вдовствующая императрица вышла для решения государственных дел, от правительства осталось всего шесть человек — все гражданские чиновники. Тогда она спросила их: «Куда делись все военные чиновники?». Они уклончиво отвечали: «Да кто их знает. Может, на войну ушли!». Вдовствующая императрица Се разрыдалась от злости и вывесила объявление: «На протяжении трехсот лет моя династия Сун заботилась о вашем благополучии. Так почему сейчас, когда мы столкнулись с трудностями, вы спасаетесь бегством? Как не стыдно вам после смерти будет смотреть в глаза прежним владыкам?». Но какой от этого прок? Его увидят те, кто остался, а не те, кто ушел. Но к счастью, пришли Чжан Шицзе и Вэнь Тяньсян. Вдовствующая императрица Се поставила Чжан Шицзе во главе армии, а Вэнь Тяньсяна с войском отправила в заставу на перевале Дусун (ныне северо-западная часть Ханчжоу, провинция Чжэцзян), чтобы задержать вражескую армию. Но не успело его войско прибыть туда, как оборона Дусуна пала. Вэнь Тяньсян вернулся в Линьань. Он попытался разыскать левого первого советника Лю Мэнъяня, но тот словно сквозь землю провалился. Все были заняты отправкой братьев императора — старшего Чжао Ши и младшего Чжао Бина — в Вэньчжоу для укрытия в море.
В тот день большой отряд монгольской армии прибыл в Линьань. Вдовствующая императрица Се послала людей молить Баяна о пощаде. Она предлагала признать наследника династии Юань своим внучатым племянником. На что Баян ответил: «Какие внуки? Какие племянники? У вас один выход — полностью сдаться». Вэнь Тяньсян и Чжан Шицзе посовещались между собой. На службу императорской семье они собрали несколько десятков тысяч воинов. Если вдовствующую императрицу и императора посадить на корабль и отправить в море, то у Вэнь Тяньсян и Чжан Шицзе возможно получится отстоять город. А если, к тому же, выйдет договориться о помощи чужеземных войск, то они смогут разбить армию династии Юань с тыла и повернуть ситуацию в свою пользу. Однако правый первый советник Чэнь Ичжун беспрестанно твердил, что сопротивление бесполезно. Он договорился со вдовствующей императрицей, и они тут же отправили людей, чтобы дать согласие на капитуляцию. В ответ на это Баян потребовал, чтобы Чэнь Ичжун лично прибыл на переговоры в его лагерь. Но разве хватило бы Чэнь Ичжуну смелости явиться? Как только наступила ночь, он сбежал. Чжан Шицзе пришел в ярость и повел своих воинов на юг.