Но и он просуществовал сравнительно недолго. Постоянные наводнения подмывали стены, по фасаду пошли трещины, а колокольня наклонилась и угрожала падением. Вдобавок храм был очень мал и тесен и в качестве соборной церкви не удовлетворял прихожан ставшего губернским города, потому что он «как по своей наружности, так и по самой внутренности не заслуживает имени собора: кровля его весьма обветшала, по крыльцам входить в оный собор без опасности невозможно; почему, как за ветхостью, так и за теснотою, в праздничные и высокоторжественные дни в нем соборного служения не бывает, да и быть не может, а совершается такое служение по разным приходским церквам» (15). В 1760 году при воеводе коллежском асессоре Черкасове вместо обветшавшей соборной колокольни, «к падению опасной», началось строительство на месте «въезжих в замок весьма ветхих ворот», то есть еще стоявшей деревянной проезжей Большой Караульной башни, - новой каменной колокольни с проезжими воротами для того, чтобы «в проезде в город от того строения помешательства не было». В нижнем этаже ее должна была расположиться церковь для ранних обеден. Но со сменою воеводы Черкасова строительство остановилось, «а только возведен выше ворот один этаж, в коем теперь хранятся старые бумаги» (16). В 1777 году была разобрана старая соборная колокольня, а в 80-е годы того же столетия, по решению Орловского наместнического правления, разобрали и недостроенную колокольню, поскольку по новому регулярному плану это место должно было отойти под обывательскую застройку. В 1786 году губернскому архитектору Кливеру было поручено освидетельствовать старый собор. В своем отчете он писал, что *в оном соборе во многих местах имеются немалые трещины от основания и до верха, что многие кирпичи выкрошились, а придел от настоящей церкви немалою трещиною отделился от низу и до верху, и словом - вся церковь стоит ветхою и весьма непрочною» (17). В том же году собор был разобран, и кирпич, оставшийся после разборки, пошел на строительство кладбищенской Сергиевской церкви. На месте храма поставили каменный столб с крестом наверху, простоявший около 50 лет. Но и он развалился, а позднее это место завял дом купца Сошина с «обывательскими надобностями». Находился Рождественский собор примерно там, где до недавнего времени стояла деревянная скульптура основателей Орла.
Окончательный удар остаткам Орловского кремля был нанесен регулярным планом, утвержденным в 1779 году. Согласно ему присутственные места и все административные здания переносились на новое место - на гору за реку Оку. Старый Рождественский собор по ветхости разобрали, а территорию бывшего Рубленого города заняли обывательские дворы и огороды, под натиском которых быстро исчезли последние остатки древних валов и рвов.