Для автора Средних торговых рядов было важно согласовать их облик с начатым ранее зданием Верхних, для чего архитектор предусмотрел примерно ту же высоту, те же членения, пропорции и примерно ту же декорацию фасадов. Можно уверенно предположить, что Клейн, ввиду близкого соседства храма Василия Блаженного, не желая соревноваться с ним, хотел сохранить его ведущую роль, оставляя за своим творением лишь роль нейтрального фона. Ему также пришлось разделить фасад на две части – одна, ближайшая к Ильинке и выходящая на Красную площадь, изобильно обработана деталями в том же стиле, что и здание Верхних рядов, а другая, ближе к Варварке и смотрящая на храм Василия Блаженного, оформлена существенно скромнее, но в том же стиле. Архитектор блестяще разрешил многочисленные трудности проекта и строительства, которые создавала очень покатая местность: надо было избежать каких-либо ступеней, крутых подъемов и спусков – ведь предполагалось торговать «тяжелыми» товарами. При подготовке котлована было сделано несколько интересных археологических находок, но, к сожалению, не специалистами: по Москворецкому проезду на глубине 3 м обнажилась деревянная мостовая, найдены монетные клады, в особенности медные монеты времени царя Михаила Федоровича, в Хрустальном переулке – остатки деревянных домов и колодцев. Императорское археологическое общество озаботилось состоянием близко расположенного собора Василия Блаженного и просило в письме за подписью председателя графини П.С. Уваровой и секретаря В. Трутовского «быть осторожным при сломке старой постройки, ибо всякое сотрясение почвы может угрожать значительною опасностью собору, который, как здание древнее, не может похвастаться особою крепостью и прочностию своих стен».
На время строительства нового здания купцы получили возможность торговать во временных рядах, построенных вдоль Кремлевской стены на Васильевской площади.
Как правило, даты строительства нового здания Средних торговых рядов в литературе приводятся с ошибками: так, в первом томе монументального издания «Памятники архитектуры Москвы» утверждается, что они строились с 1889 по 1891 г., но, судя по газетам того времени и архивным данным, закладка производилась в июле 1890 г., к «разбивке» старых рядов приступили в октябре того же года, через год газеты сообщали о «строящихся рядах», а в декабре 1892 г. все уже было построено, однако отделка и приспособление продолжались довольно долго, и только 21 февраля 1894 г. состоялась торжественная церемония освящения Средних рядов. На ней присутствовали великий князь Сергей Александрович с супругой Елизаветой Федоровной и московские высшие чины, которых встречали в большой двусветной зале над главным входом напротив Лобного места. На празднике отмечалось, что «роскошные, подобные дворцам» здания Верхних и Средних торговых рядов являют собой всероссийскую выставку русской торговли и промышленности.
В плане Средние торговые ряды представляют собой неправильной формы замкнутый четырехугольник, внутри которого располагаются четыре отдельных корпуса с широкими проездами между ними, под которыми, в свою очередь, проложены подземные проезды. В отличие от Верхних тут нельзя было применить систему пассажей, так как при торговле тяжелыми и объемными товарами необходимо было предусмотреть отдельные подъезды к каждому помещению. Стоимость строительства составила 2 миллиона 800 тысяч рублей.
Обычно пишут, что в Средних рядах продавались только «тяжелые» товары – москательные, металлические и прочие в том же роде, но если судить по описанию рядов, опубликованному в «Русском альбоме» в 1894 г., то там велась торговля чаем, по Хрустальному переулку – писчебумажными и канцелярскими товарами, по тому же переулку и частью по Ильинке – фарфором, хрусталем и лампами, далее по Ильинке – парчой, дверными и оконными приборами, а в корпусах внутри – москательными, химическими и аптечными товарами. В бельэтаже рядов помещались нотариальные, банковские, экспедиторские конторы. Перед мировой войной, в июне 1913 г., общество Средних торговых рядов задумало изменить здание: «…желаем над существующим строением вновь надстроить четвертый этаж с перебивкою фасада». Чертежей новых фасадов в архиве не найдено, но, судя по отзыву Академии художеств, предполагали сделать его «характерным для французского стиля», однако эти изменения, к счастью, не осуществились из-за разразившейся войны.
В отличие от Верхних рядов Средние так и не были возвращены торговле: как их заняли военные в 1918 г., так до недавних пор они распоряжались этим замечательным зданием, специально спроектированным для торговых рядов.