В 50-е годы отношения с другом юности В. В. Стасовым становятся постепенно все прохладнее, и причина тому – скептическое отношение «Вольдемара» к опытам Серова в области музыкальной композиции. А на рубеже 50—60-х годов это охлаждение завершается окончательным разрывом отношений, и поводом к тому стали уже не столько разногласия в оценке тех или иных явлений в музыке, сколько дела сугубо интимные. С некоторым запозданием А. Н. Серов узнал, что Надежда, вторая дочь его сестры Софьи, рождена не от ее законного мужа Петра (Пьера) Федоровича Дютура, дослужившегося в Екатеринбурге, где жили супруги, до звания штабс-капитана корпуса лесничих, а от Владимира Стасова. Серов не одобряет тайную связь друга с Софьей и расценивает поступок Вольдемара как личное оскорбление. Он пишет Стасову очень резкое письмо. Так былая горячая дружба перешла в ожесточенную вражду. И с тех пор два ведущих музыкальных критика России не уставали пускать друг в друга ядовитые стрелы.
Еще в начале 50-х годов, когда переписка со Стасовым сохраняла прежнюю интенсивность, Серов признавался, что находится под сильнейшим впечатлением музыковедческих работ Рихарда Вагнера. Непосредственное знакомство с оперным творчеством Вагнера и с самим композитором произошло в 1859 году во время заграничной поездки Серова. Тогда его русский почитатель услышал несколько опер немецкого композитора, в том числе «Лоэнгрина», и высказал восторженные слова автору. Вагнер, убедившись, что имеет дело с тонким знатоком музыки, сыграл и спел Серову целый акт своего нового творения – «Тристана и Изольды». Рассказывая русским читателям об операх покорившего его немца, Серов назвал его «музыкальным Шекспиром».
В это время Серов пишет сестре Софье: «Вагнер не знает, какого он себе приобрел приверженца в России. А приверженность эта ни для меня, ни для Вагнера, ни для России бесполезною не останется».
Серов усиленно пропагандирует творчество Вагнера в своих статьях, лекциях, беседах с музыкальными деятелями. Он убеждает их поставить на русской сцене одну из опер композитора, а самого Вагнера пригласить с концертами в Россию. Вероятно, личное знакомство с Вагнером дало мощный толчок и собственному оперному творчеству Серова. В начале 60-х годов он завершает работу над оперой «Юдифь» на библейский сюжет и проигрывает ее своему новому другу, литературному критику Аполлону Григорьеву. О произведенном на Григорьева впечатлении сообщает Марии Павловне Анастасьевой: «Я его пронял с первой же сцены до слез, и он после в обществе литераторов (у Достоевских) говорил так: „Герцен врет, что искусство в наше время умерло. Хороша смерть искусства, когда пишутся такие вещи, как драмы Островского и 'Юдифь'“».
Между тем настойчивые хлопоты Серова относительно приглашения Вагнера в Россию увенчались успехом. Весной 1863 года Вагнер приезжает в Петербург по приглашению местного Филармонического общества. Серия концертов, которые Вагнер, дирижер и исполнитель собственных сочинений, дал в Петербурге и Москве, не только обеспечила ему успех в России, но и позволила значительно поправить материальное положение. Немалую роль в пропаганде творчества Вагнера сыграл в это время и Серов, откликаясь в печати на каждое выступление немецкого музыканта и композитора. Впоследствии в мемуарах «Моя жизнь» Вагнер писал о пребывании в России: «Моим частым гостем был Александр Серов, с которым я познакомился еще в Люцерне. Он посетил меня, как только я приехал в Петербург… (Он) заслужил мое уважение большой независимостью своего образа мыслей и своей правдивостью, которые в связи с выдающимся умом доставили ему, как я скоро узнал, положение одного из наиболее влиятельных и внушавших страх критиков».
Вагнер оценил незаменимую помощь Серова в организации концертов в России. В своих мемуарах немецкий композитор писал: «Он хлопотал о переводе на русский язык… отрывков моих опер, а также моих объяснительных программ. Он оказал мне чрезвычайно полезное содействие при выборе подходящих певцов… Между мною и Серовым существовало полное согласие. Меня самого, все мои стремления он понимал с такой ясностью, что нам оставалось беседовать только в шутливом тоне, так как в серьезных вопросах мы были с ним одного мнения».