Музыку к фильму, как известно, написал Микаэл Таривердиев. Однако мало кто знает, что первоначально он отказался работать над фильмом. До этого он уже писал музыку к шпионскому фильму Вениамина Дормана «Ошибка резидента», и эта работа его не удовлетворила. Поэтому в 1967 году он отказался от еще одного предложения поработать в кино про разведчиков — написать музыку к картине Саввы Кулиша «Мертвый сезон» (о чем он позднее сильно сожалел). Та же участь могла постигнуть и «Семнадцать мгновений весны». Когда Таривердиев узнал, что фильм из той же серии, что и два предыдущих, он высказал режиссеру свое твердое «нет». Но сценарий все-таки взял, прочитал его и тут же изменил свое мнение. Он вдруг понял, что фильм хотя и будет рассказывать про разведчиков, но совсем иначе, чем это было ранее в других картинах.
В процессе работы над музыкой Таривердиев написал десять песен, однако в фильм вошли только две из них: «Где-то далеко…» и «Мгновения». Восемь других пришлось выкинуть, поскольку их некуда было вставить. И, думается, правильно: за счет этого в картину удалось вставить очень много прекрасной инструментальной музыки.
Певцы под песни пробовались разные. Сначала пригласили Вадима Мулермана. Однако его кандидатуру зарубило высокое телевизионное начальство, которое в те дни устроило очередные гонения по пресловутому «пятому пункту» (Мулермана отлучили не только от этого фильма, он тогда вообще пропал с экранов телевизоров). Тогда Лиознова пригласила не менее популярного певца Муслима Магомаева. Но ему перебежал дорогу другой популярный исполнитель — Иосиф Кобзон (тот хоть и был одной национальности с Мулерманом, но власти разрешили пригласить его в картину, правда, в титрах указывать запретили).
Вспоминает М. Магомаев: «Я записал песни к фильму, но, увы, мой голос не соединился с образом советского разведчика Штирлица-Тихонова. С песней "Мгновения" еще можно было покрутить и так и этак — спеть пожестче или более проникновенно. А с песней "Я прошу, хоть ненадолго…" ("Где-то далеко…")… Как Микаэл Таривердиев ни изощрялся, ни варьировал, все-таки это интонационно, мелодически напоминало "Историю любви" Фрэнсиса Лея. Эту песню я так и спел — по-американски, по-фрэнксинатровски.
Потом мне дали послушать другую запись — Кобзона. Хотя Иосиф и клялся мне, что моего варианта исполнения он не знал, я угадывал в его версии некоторые мои интонационные нюансы, и акценты, и динамику — где тише, где "нажать" где сгустить… Я почти уверен, что Лиознова "для пользы общего дела" давала ему меня послушать. Я вышел из студии и сказал Иосифу: "Ты так же не слышал мою запись, как Таривердиев не слышал "Love story".
В своей книге М. Таривердиев пишет, что я за эту историю с записями якобы обиделся на него. Нет, не обижался я на композитора. Меня пригласила Лиознова, а Микаэла я ни разу не встретил на записи в студии, не созванивался с ним в это время, не получал от автора ни письменных, ни устных пожеланий.
Татьяна Михайловна просто сказала: "Нет" (эта маленькая женщина умеет сказать с жесткой безапелляционностью). И предложила переделать. Я отказался: я такой, какой есть, и подделываться под разведчика не могу, не хочу и не буду. Я никогда ни под кого не подстраиваюсь…
Манера пения и характер голоса Иосифа Кобзона как нельзя лучше совпали с образом Штирлица. Я так и сказал Лиозновой, послушав запись Иосифа: "Не надо было, Татьяна Михайловна, приглашать меня. Вы же прекрасно знали и мой голос, и мою манеру". И она согласилась.
Если честно, обиделся я на режиссера. Потом, как это часто бывает со мной — по причине моей отходчивости и незлопамятства, — мы по-доброму объяснились с Татьяной Лиозновой. Она была у меня в гостях…»
Консультантами картины были как военные историки, так и люди с Лубянки, причем довольно высокопоставленные (например, фильм лично курировал заместитель Ю. Андропова Семен Цвигун, который в титрах был указан под псевдонимом). С их помощью воссоздавались детали военного быта фашистской Германии, работа разведчиков. Они же натолкнули Лиознову на некоторые решения, которых в сценарии Семенова не было. К примеру, знаменитая почти 6-минутная сцена встречи Штирлица с женой была подсказана одним из таких консультантов. Мало кто знает, но в первоначальном варианте жена Владимирова-Исаева приходила на встречу с мужем… с их маленьким сыном. Но Лиознова этот вариант забраковала, посчитав, что мальчик будет только мешать — Штирлиц наверняка будет «пожирать» глазами ребенка, а не жену.
Т. Лиознова вспоминает: «Ближе всех к экранной стояла история одного нашего генерала-консультанта. Во время нашей с ним поездки он показал мне конспиративные квартиры, мы меняли номера, как положено… Потом он рассказал о своих редких встречах с женой. Вообще, им иногда устраивали свидания в гостиницах: двойные номера, ключи заранее заготовлены, чтобы у портье не брать, одна ночь, и все. А однажды разведчик должен был оказаться на одной станции в чужой стране, далекой от нас, а она — ехать в поезде в таком-то вагоне.