Член Императорской Академии наук П. С. Паллас, оказавшись в Касимове в 1768 году, так описал состояние города: «Касимов расположен на горе, сложенной из известняковых пластов… Несмотря на это изобилие камня, который можно использовать для строительства и для обжига извести, и невзирая на то, что… в 11 верстах отсюда, имеется еще более лучший известняк, весь город тем не менее построен из дерева; бревнами вымощены даже улицы. И уж совсем, кажется, трудно поверить в то, что там изготавливают кирпичи, дабы возвести из них стену вокруг церкви и новой татарской мечети.
Татары, ранее господствовавшие в Касимове, были в этом отношении мудрее. Все памятники, оставшиеся от их былого величия, построены на века из прекрасного, весьма тщательно обтесанного бутового камня… Эти памятники простояли бы еще многие столетия, если бы в наше просвещенное время своекорыстие одного единственного человека не разрушило их все самым что ни на есть варварским способом. С грустью показывали мне местные татары груды камней, в которые были превращены остатки старого ханского дворца и некогда внушительные ворота, украшенные готическими капителями и арабскими надписями.
Место, где стоял ханский дворец, ныне отвели под жилой дом генерала Симонова, а колонны и фрагменты ворот с надписями отправили в печь для обжига известняка, чтобы получить строительный материал. Великолепную старую башню, возле которой стояла мечеть, удалось пока спасти. Господин генерал намеревался и ее тоже прибрать к рукам и снести, когда бы не требование местных татар о возмещении и не признание Сенатом за татарами права на владение местом. В довершение пришло милостивейшее Императорское соизволение на восстановление мечети, так что они не знали, как выразить свою признательность Его сиятельству г. графу Федору Григорьевичу Орлову».
Графу Орлову, конечно, спасибо, но жаль, что ничего не сохранилось от дворца или хотя бы ворот. Что касается мечети, то ее строительство немедленно началось после получения Указа императрицы: