Летные испытания проходили очень медленно, а замена двигателей ВД-19 на АЛ-7Ф-1 ухудшила летно-тактические характеристики комплекса. Выяснилось, что комплекс может перехватывать цели в задней полусфере, летавшие на высоте 21 км лишь со скоростью 1100 км/ч. Большая посадочная скорость не позволяла самолету базироваться на аэродромах второго класса. В 1962 году на самолет установили двигатели АЛ-7Ф-2 с увеличенной тягой, что несколько улучшило летные данные машины.
Летом 1963 года экипаж летчика-испытателя Г.Т. Берегового поразил первую цель – мишень Ил-28. В том же году комплекс приняли на вооружение под обозначением Ту-128С-4, а ракеты – как Р-4Т с тепловой и Р-4Р с радиолокационной головками самонаведения (ГСН).
Несмотря на то что первую серийную машину завод № 64 сдал заказчику в 1961 году, фактически эталоном Ту-128 стала первая машина четвертой серии. В отличие от «нулевки», на серийных машинах изменили аэродинамическую компоновку центроплана. Эту доработку ОКБ-156 выполнило по требованию заказчика после срыва в штопор самолета, пилотировавшегося летчиком НИИ ВВС Ю. Рогачевым. Кроме этого, изменили расположение радиооборудования, сняли подфюзеляжные кили, изменили положение противопомпажных створок и сместили узлы подвески ракет ближе к фюзеляжу.
По результатам испытаний рекомендовалось использовать на серийных машинах катапультные кресла К-21 вместо К-22. Кресло, созданное под руководством С.М. Алексеева, обеспечивало аварийное покидание самолета с уровня земли на разбеге и пробеге, а в сочетании с высотным снаряжением членов экипажа – до скоростей 1200 км/ч и высот 20 км. Но рекомендации по установке на серийные самолеты кресел К-21 не выполнили и вместо них установили кресла разработки ОКБ-156 КТ-1, предназначенные для тяжелых самолетов и обеспечивающие аварийное покидание на скоростях свыше 130 км/ч в диапазоне высот от земли до практического потолка.
В таком виде самолет состоял на вооружении авиации ПВО СССР. С 1962 по 1970 год Воронежский завод выпустил 187 перехватчиков.
Принятие на вооружение авиации ПВО самолета, в четыре раза тяжелее перехватчика Як-25, переход от привычной ручки управления летчиков-истребителей к штурвалу потребовали нового учебного самолета. Попытка приспособить для этой цели учебно-штурманский самолет Ту-124Ш не дала необходимых результатов. Вдобавок Ту-128 на дозвуковых скоростях имел малый запас продольной устойчивости, еще больше снижавшийся при подвеске ракет. На взлетно-посадочных режимах имелась повышенная реакция по крену на отклонение руля направления. Все это требовало создания учебно-тренировочного варианта Ту-128УТ.
Решение о разработке учебной машины приняли в сентябре 1964 г. Все работы по модификации проводились воронежским филиалом ОКБ-156 под руководством А.И. Путилова. Первые четыре учебных машины переделали из серийных перехватчиков и после завершения государственных испытаний приказом министра обороны от 14 сентября 1971 года приняли на вооружение.
В отличие от боевой машины, на Ту-128УТ в носовой части установили кабину летчика-инструктора, сняв РП-С. При этом компоновка кабин обучаемого летчика и штурмана осталась неизменной.
Как известно, кили Ту-128 отличались срезанной законцовкой, что делалось для повышения критической скорости флаттера. На серийных учебных машинах на законцовках килей устанавливали антенны связных радиостанций Р-846 «Призма-М». Всего промышленность выпустила 200 машин, включая опытный Ту-28–98, построенный в Москве, один для статических испытаний и десять Ту-128УТ.
В соответствии с постановлением Совета Министров от 26 декабря 1968 года коллективам ОКБ-4, ОКБ-156, разработчикам радиолокационного прицела РП-С и прочей аппаратуры предписывалось модернизировать комплекс перехвата с целью улучшения его характеристик. Требовалось увеличить дальность захвата и сопровождения целей, а также дальность пуска ракет.
Весной 1970 года завод № 64 выпустил первые два Ту-128М, переделав их из серийных № 4201 и № 4202. Этап заводских испытаний проходил с сентября 1970-го по август 1972 года, а государственные испытания завершились в июле 1974 г. В них принимали участие от ОКБ летчики-испытатели В. Молчанов, М. Козлов, С. Агапов и штурман-испытатель А. Николаев. От НИИ ВВС – летчики-испытатели Г. Горовой, В. Баранов и штурманы-испытатели Г. Митрофановский, М. Петров и А. Хализов.
В 1979 году комплекс приняли на вооружение под обозначением Ту-128С-4М, а все самолеты, находившиеся в авиации ПВО, доработали в этот вариант на авиаремонтных предприятиях в Ту-128М. На них устанавливали модернизированные прицелы РП-СМ с увеличенной дальностью захвата и сопровождения, усиленные балочные держатели под более тяжелые ракеты Р-4ТМ и Р-4РМ. В таком виде комплекс состоял на вооружении до 1988 г.