Большой Каменный мост представлял собой грандиознейшую, самую крупную в Москве того времени стройку, требовавшую длительного времени и огромных затрат, которые были под силу только государственной казне. Москвичи прикидывали стоимость материалов и работы — и ужасались получаемой сумме.
Также они полагали, и справедливо полагали, что из казенных денег неведомая, но весьма значительная часть попадает в карманы подрядчиков, поставщиков, дьяков и самого вельможного покровителя строительства, князя В. В. Голицына, и это, понятно, еще более увеличивает затраты.
В. В. Голицын, хотя и был одним из самых богатых людей тогдашней России, отличался невероятной страстью к стяжательству и сребролюбием. Для обогащения он не гнушался никакими средствами, в том числе взяточничеством и казнокрадством. После того как в 1689 году Петр I, утвердившись на престоле, заключил Софью в Новодевичий монастырь, был арестован и князь Голицын. В тайниках его московских палат нашли более 100 000 червонцев, 400 пудов серебряной посуды и много других сокровищ. Обнаружилось, что при заключении мира с Польшей, переговорами о котором он руководил, Голицын присвоил 100 000 рублей, а в Крымском походе остановил наступление на крымчан за две бочки золотых монет. Когда на допросе от имени царя его спросили о происхождении обнаруженных у него богатств, он ответил: «Мне трудно оправдаться перед царем».
В результате следствия Петр убедился, что в заговоре с целью возведения на трон Софьи прямого участия Голицын не принимал, но, зная о неправедных путях приобретения Голицыным его богатств, царь своим указом повелел все его имение отобрать в казну, для чего следовало подробно переписать, «чем он владел», а его отправить в ссылку в Олонецкую губернию в Каргополь.
Поговорка «Дороже Каменного моста» возникла в годы его строительства и укрепилась в речи, когда он был построен, поскольку толки о нем в Москве не утихали.
Строящийся мост называли по-разному: Всехсвятский, так как на левом берегу он подходил к Всехсвятской башне Белого города и церкви Всех Святых; Берсеневский — по урочищу Берсеневка на правом берегу; Новый Каменный, в отличие от Старого Каменного у Троицких ворот Кремля. В конце концов, за мостом утвердилось название Большой Каменный.
Большой Каменный мост поражал москвичей и иностранцев своей величиной и выразительностью облика. Его не раз изображали на гравюрах XVIII — первой половины XIX века. А. М. Васнецов написал картину «Всехсвятский мост и Кремль в конце XVII века», на которой воссоздал первоначальный вид моста.
Роль моста в средневековом городе не ограничивалась удобством переправы с одного берега на другой. Он был еще и оживленной улицей, которую никак не могли миновать все идущие и едущие из города в Замоскворечье и из Замоскворечья в город. Ширина Большого Каменного моста составляла 11 сажен (24 метра), в то время как ширина улиц Москвы в XVIII веке, даже таких крупных, как Никольская, Ильинка, Варварка, не превышала 6–8 сажен. Каменный мост на южном въезде на него имел предмостную крепостную башню с шестью проездными воротами и множеством помещений — «палат». Перед мостом и на нем стояли торговые палатки, лари. На башнях были устроены галереи-гульбища, куда москвичи приходили гулять, любоваться видом на Кремль, пить вино и пиво, поскольку тут же производилась казенная продажа вина, причем весьма успешная, так как приставленные к продаже «ларешные» были пожалованы от казны сукном за то, что «чинят прибыль немалую». Внизу же, в конце моста, было кружало — кабак, в котором вино отпускалось кружками, что сейчас называется распивочной. В городе это кружало было известно под названием «Заверняйка», так как многие прохожие, идя мимо, не могли не завернуть в него. У Всехсвятских ворот (у левого берега) находилась часовня Предтеченского монастыря во имя Иоанна Предтечи и келья старца при ней. У моста были поставлены мельницы, работавшие на них мельники жили в башне.
На мосту постоянно толпился народ: и прохожие, и зеваки. Сюда ярыжки-полицейские водили «языков» — преступников, попавших в Сыскной приказ, от которых требовали указать сообщников, и те оговаривали прохожих. Нищие пели Лазаря, колодники вымаливали подаяние. В весеннее половодье москвичи специально приходили на мост и часами смотрели на ледоход.
Дурной славой пользовалась арка моста на левом берегу — девятая клетка, как ее называли. Здесь облюбовали себе пристанище «лихие люди» — воры и разбойники. Москвичи опасались в вечернее время проходить под мостом. По Москве же распространялись слухи о дерзких и жестоких нападениях, грабежах и убийствах, совершаемых «промышленниками, — как их называли, — из-под девятой клетки».