В конце мая 1837 года В. А. Перовский передал материалы на постройку караван-сарая старшему корпусному инженеру в Оренбурге. Время между январем и маем ушло, вероятно, на доработку деталей проекта и т. п. Военный губернатор писал: «...постройку эту поручить в искусственном и хозяйственном отношении инженер-поручику Сенькову. При надзоре... за правильностью, прочностью и чистотою в отделке будет находиться Уральскаго войска архитектор 14-го класса Гопиус». Как видно из последней фразы, Гопиус был больше в Оренбурге, чем в Уральске. Работал он впрочем добросовестно и хорошо, уже в 1832 году войсковая канцелярия представляла его к награде. К этому ходатайству на следующий год присоединился Перовский. В 1835 году Гопиус был награжден орденом Станислава 4-й степени и в 1837 году произведен в 12-й класс. Работы начались, очевидно, летом этого же года. К ним, как пишет Б. Г. Калимуллин в упомянутой работе, для изготовления строительных материалов и их транспортировки, а также к разным подсобным работам привлекались главным образом башкиры и мещеряки, «в сооружении же зданий и их оформлении участвовали строители и других национальностей, в первую очередь русские мастера».
К началу 1842 года внешне комплекс выглядел завершенным. Часть помещений основного корпуса была готова еще раньше, так как в декабре 1841 года на втором этаже уже разместилась канцелярия командующего башкиро-мещеряцким войском. Тогда Караван-Сарай производил несколько иное эмоциональное воздействие, потому что и окружение и масштабность были иными, по отношению к окружающей местности комплекс был выше, чем сейчас.
Интересен выбор места. Хотя город был еще крепостью и вопрос о ее упразднении не стоял, Караван-Сарай явно поставлен в расчете на то, что рано или поздно крепости не будет, город расширится и минарет мечети будет выполнять определенную градообразующую роль: он поставлен точно в створе Введенской улицы в этом легко убедиться, посмотрев сейчас, особенно после опадания листвы, вдоль улицы 9-го Января. Видимо, решая вопрос о месте комплекса, строители считали, что потомки выведут улицу прямо на Караван-Сарай; но так, к сожалению, не случилось.
В августе 1846 года состоялось торжественное открытие Караван-Сарая. По существу-то открывали мечеть, которая вместе с минаретом является центром композиции; отделка ее, вероятно, и заняла все то время, ведь мастеров было очень мало.
О достоинствах и особенностях Караван-Сарая хорошо и подробно рассказал в своей работе архитектор Барый Гибатович Калимуллин. Он выделяет как самое главное и наиболее ценное ансамблевое качество «соразмерность отдельных частей комплекса, стройность общего силуэта, согласованность всей композиции». По формам здания сильно отличаются, но они соподчинены и дополняют друг друга. Хорошо сказано о развитии композиции в высоту: «С низких, горизонтально протяженных стен хозяйственных пристроев взгляд переходит к стенам основного здания, и угловым башенкам над крышей, следует выше к куполу мечети, затем поднимается к минарету, его конусному завершению, шпилю и, наконец, уходит в необъятный простор неба».
Анализируя архитектурный образ Караван-Сарая, Б.Г. Калимуллин приходит к заключению, что в нем отражена схема летнего башкирского аула. Ассоциацию с аулом усиливают возвышающиеся над крышей угловые башенки, которые напоминают легкие летние юрты. До нас Караван-Сарай дошел с рядом изменений. Так, хозяйственный пристрой потерял свои первоначально четкие формы из-за добавления разновысоких построек, минарет соединен с мечетью чуждым ансамблю переходом.