Очень скоро, однако, раздались голоса противников его замысла. Вслед за этим вспомнили об обычае осуждения монарха, если за ним наблюдалось чрезмерное увлечение удовольствиями или накладными для казны предприятиями. Челобитчики обращали его внимание на то, что государство находится в недостаточно процветающем положении, а из министерства доходов поступила балансовая ведомость, из которой было видно, что осуществление намеченного проекта на государственные средства представлялось делом неподъемным. Дядя императора великий князь Цюнь сказал ему, что Старый летний дворец должен служить ему напоминанием о причине смерти его отца, а его долг состоит в отмщении за него. Однако император Тунч-жи склонялся к развлечениям, а не к мести. Он проигнорировал своего дядю, а отчет министерства доходов швырнул назад простершемуся перед ним министру. Этот монарх отказывался прислушиваться к своим критикам и написал красными чернилами отповедь челобитчикам, обвинив их в попытке отвлечения его от исполнения своего сыновнего долга, что согласно конфуцианской морали считалось серьезным грехом. Следуя духу поддержания высокого уровня нравственности, император разжаловал одного чиновника «ради острастки» и предупредил остальных «о наказании тому, кто снова вернется к этому вопросу…». Так случилось, что великий князь Гун, признавший проект восстановления Летнего дворца нереальным, поставил свою подпись под петицией с просьбой к августейшему племяннику отказаться от своего намерения. Молодой человек зло ответил своему дяде: «Быть может, вы хотите, чтобы я уступил свой трон вам?!» Одного верховного советника, распростершегося перед ним на полу, настолько поразила реакция императора, что, разрыдавшись, он потерял сознание и без посторонней помощи не смог покинуть зал аудиенций.
В самый разгар противостояния по поводу восстановления Старого летнего дворца осуждению подвергся общий уклад жизни его величества, в том числе безграничная любовь к опере, пренебрежение государственными обязанностями и особенно ночные побеги из Запретного города в чужой одежде. Тунчжи потребовал от двоих своих дядьев узнать, кто распускает о нем такие слухи. Великий князь Цюнь сослался на конкретные факты, а великий князь Гун назвал в качестве источника информации своего старшего сына, дружившего с императором. В ярости император обвинил их в том, что они его «стращают», а также в других тяжких проступках, граничащих с государственной изменой. Оба великих князя продолжали стучаться лбами об пол, но гнев императора не проходил, и он написал указ красными чернилами, лишив великого князя Гуна и его сына титулов, сместив великого князя со всех постов и поместив его под стражу департамента вельмож. Вторым указом император разжаловал великого князя Цюня.
Этим сановникам очень повезло, что рядом оказалась мать императора. Разжалованные мандарины обратились к Цыси с письмом, моля ее об участии в их беде. Она пришла в кабинет своего сына с императрицей Чжэнь и попросила его прислушаться к голосу большинства. Она укорила его за жестокое обращение с великим князем Гуном. Пока она говорила, молодой император слушал стоя, а когда в ее упреках появились эмоции, опустился перед матерью на колени. Согласно традиционному кодексу чести, император обязан был демонстрировать повиновение своей матери. К тому же он искренне ее любил. Все распоряжения о репрессиях отменили, а Цыси пришлось отказаться от своей мечты о переезде в Старый летний дворец.
Император Тунчжи не желал оставлять свои плотские утехи за пределами Запретного города и настроился на переезд в Морской дворец, стоявший по соседству. На территории этого просторного поместья, главной достопримечательностью которого было обширное рукотворное озеро, не нашлось места грандиозным дворцам, зато располагалось несколько храмов и строений замечательной архитектуры, отгороженных символическими стенами. Жилые помещения здесь пришли в упадок, так как отец и дед императора Тунч-жи остро нуждались в средствах на другие дела. Капитальный ремонт этого дворца одобрили, и сразу же на его территории закипела работа. Император весьма привязался к этому месту и продолжал навещать его после того, как лето сменилось зимой, пока однажды во время прогулки на лодке по озеру не простудился.