За Серпейкой начинается подъем на кремлевский холм. На холме стоят несколько одноэтажных деревянных домов, я бы сказал – деревенских, но мы же в центре старинного города: небольшой храм, кусочек белокаменной стены высотой метра три и памятник советскому воину работы Вучетича, о котором я уже рассказывал. Серпуховской кремль – пример запустения городского района после ухода из него городских смыслов. Каменную крепость на холме построили в 1556 году. Стены шириной три с половиной и высотой семь-восемь метров общей протяженностью 930 метров повторяли изгибы холма. В крепости построили пять башен и три полубашни. Ворота соорудили одни с северо-запада, здесь и сейчас проходит дорога на холм. Последний раз в крепости горожане затворялись при крымском набеге в 1633 году. При этом уже в 1650 году проводивший поверку воевода Андрей Оленин отметил: «Башни не покрыты, тайники утеряны». К концу XVII века несколько башен рассыпались. Камень из стены стали брать на строительство. Окончательно Серпуховской кремль разобрали в 1934 году. Московскому метро требовался бутовый камень, и быстрее всего было не выламывать его под землей, а взять с поверхности из руин крепости. В течение года все белокаменные блоки перевезли в Москву. Реставраторы собрали два небольших кусочка стены – плоские площадки по кромке холма обозначают места башен.
На площади перед Троицким собором когда-то стояли административные здания. Постепенно их переместили туда, где протекала жизнь города, к Московской дороге. Нынешний Троицкий собор построен в 1696 году на средства архимандрита Московского Спасо-Андроникова монастыря Феодосия, в прошлом служившего в этом храме. В 1841 году весь собор переделали в классическом стиле. Советский реставратор Николай Свешников, работавший в серпуховских Владычном и Высоцком монастырях, занялся и церковью на кремлевском холме. Он восстановил первоначальный шатер со слухами колокольни и убрал с фасада основного объема ампирную облицовку, вернув наличники XVII века. А вот приделы Свешников оставил с классическими фронтонами, чтобы напомнить о разных периодах постройки храма.
Зависимость Серпухова от промышленных предприятий хорошо видна в историческом центре. К горе со стороны Нары притулились кирпичные корпуса Серпуховского механического завода (Тульская ул., 1). А за церквями посада раскинулась огромная ситценабивная фабрика Коншиных «Старая мыза» (Володарского ул., 1–15).