Нынешним своим именем улица обязана жившему в Доме Правительства писателю А.С. Попову, публиковавшемуся под псевдонимом Серафимович (по отчеству), причем едва он успел поселиться здесь, как улицу уже назвали его писательским именем. Почему именно Серафимович удостоился такого прижизненного почета – не ясно. Ничем особенным не выделялся он из сонма советских писателей, по разным соображениям поддерживавших, искренно или нет, режим коммунистов. Если Тверскую назвали тоже при жизни писателя улицей Горького, так тому имелись веские соображения: Горький был всемирно признанным писателем и его поддержка советского режима ценилась Сталиным, а Серафимович никому в мире не был известен. Значительно более заслуженные, с точки зрения коммунистов, писатели удостоились такого почета только через много лет после смерти: «лучший поэт советской эпохи» Маяковский через пять лет, Симонов «ждал» шесть, а Фадеев – одиннадцать лет.
До вселения Серафимовича улица называлась Всехсвятской – по ближнему мосту, который получил свое имя по церкви Всех Святых, к которой он выходил на противоположном (левом) берегу. Всехсвятская улица – один из старейших в Москве проездов, по которому через брод у Боровицкого холма в древности проходила дорога из Великого Новгорода в приокские города. С XV в. в связи с устройством государева сада Всехсвятская улица стала разделять Нижнюю и Среднюю Садовничьи слободы.
Всехсвятский мост еще назывался и сейчас называется Большим Каменным. Имя свое он унаследовал от старинного предка, первого каменного моста через Москву-реку.
Мост называли Новым Каменным, в отличие от старого каменного моста у кремлевских Троицких ворот, Берсеневским – по урочищу и Космодемьянским – по улице, на которую попадали с моста в Замоскворечье (нынешняя Большая Полянка).
Мост был поставлен на месте брода, которым пользовались с очень давних пор, со времен основания крепости на холме у впадения Неглинной в Москву-реку. Когда население Замоскворечья значительно увеличилось, а опасность вторжения с юга уменьшилась, то настоятельно необходимым стало сооружение постоянного моста, соединяющего этот район с остальным городом. В царствование Михаила Федоровича из города Страсбурга вызвали заморского палатного мастера Янце-Якова Кристлера, который и приехал в 1643 г. вместе с дядей своим Иваном Яковлевым «служить ремеслом своим, на своих проторях и снастях», в числе которых были и медная печь, и векши (блоки) большие и малые, подпятки, долотники, вороты с лопатками (подъемные устройства), молоты, пазники к деревянному делу (для делания пазов), кирки, закрепки и мн. др. Спервоначалу Кристлеру указано было сделать деревянную модель моста, которую он представил в Посольский приказ. Думные дьяки интересовались у него, «можно ли будет тому мосту устоять от льду толщиною в два аршина?», на что Кристлер отвечал, «что у него будет сделаны шесть быков каменных острых, а на те быки учнет лед, проходя, рушиться, а тот рушеный лед учнет проходить под мост между сводов мостовых, а своды будут пространны…». Они хотели знать, выдержит ли новый мост «большой пушечный снаряд», на что получили успокаивающий ответ: «Своды будут сделаны толсты и тверды, и от большия тягости никакой порухи не будет».
Но тогда ничего не было сделано, так как Кристлер, посланный в Троице-Сергиев монастырь и Новгород для «городового дела», скончался, и только в правление царевны Софьи в 1687 г. князь Василий Васильевич Голицын, много строивший в Москве, возобновил возведение Большого Каменного моста по старой модели. Французский путешественник Невилль, побывавший в Москве в то время, писал: «Князь Голицын построил также на Москве-реке, впадающей в Оку, каменный мост о двенадцати арках, очень высокий, ввиду больших половодий; мост этот единственный каменный во всей Московии, строил его польский монах».
Как и многие другие мосты, Каменный служил не только для переправы через реку, но был своеобразной улицей, на которой строились жилые дома и лавки. В начале XVIII в. на Каменном мосту стояла палата Азовского Предтеченского монастыря, рядом четыре меньшие палаты, принадлежавшие князю Меншикову, табачная таможня, а также «водошная, пивная и медовая продажа» в кружале, то есть кабаке под названием «Заверняйка» (странное название, и даже Даль не помогает в объяснении – у него «заверняй» – это буря, метель, вьюга).