В июне 1958 г. один F-104A был облетан британским летчиком-испытателем Роландом Бьюмонтом (Roland Beaumont) из фирмы English Electric. После полета он рассказал, что практически на всех режимах ощущались короткопериодические колебания с низкой амплитудой, причем система демпфирования их не парировала. Управление по крену требовало от летчика больших усилий. Маневренность также оставляла желать лучшего. Бьюмонт даже попал в плоский штопор, но достаточный запас высоты позволил ему выйти из этого опасного режима. Flo особенно угрожающими он счел взлет и посадку, которые требовали от летчика большой точности и координации при работе с органами управления двигателем и самолетом. По его мнению, эксплуатация F-104 в строевых частях могла привести к большому количеству аварий и катастроф. Этот вывод точно соответствовал реальному положению вещей.
Хотя статистику аварийности секретили, но некоторые факты утаить от общественности было просто невозможно. В полетах на F-104A погиб 21 пилот ВВС США. Среди них оказался и известный американский летчик Айвин Кинчилоу (Iven С. Kincheloe). Он прославился еще в Корее, сбив 5 и повредив шесть МиГ-15. После войны Кинчилоу служил на авиабазе Эдвардс и принимал участие в программе Х-2. 7 сентября 1956 г. он поднялся на высоту 38405 м, за что пресса назвала его «первым американским астронавтом». Айвин погиб 26 июля 1958 г. из-за отказа двигателя F-104A на высоте 600 м. Сначала он пытался спасти самолет, но тот слишком стремительно снижался, и Кинчилоу решил покинуть машину. Он начал переворачивать истребитель, т.к. для безопасного катапультирования вниз высоты уже не хватало. Видя, что закончить этот жизненно важный маневр он уже не успеет, Айвин катапультировался в сторону. Парашют не успел раскрыться, и Кинчилоу разбился. Этот случай заставил конструкторов отказаться от катапультирования вниз и поставить на самолеты более совершенные кресла типа С-2, выстреливавшие пилота вверх.
Поставки F-104A закончились в декабре 1958 г. Всего построили 153 самолета семи серий, от F-104A-1-LO до F-104A- 30-LO (нумерация шла через 5).
Хотя репутация F-104A у специалистов оставляла желать лучшего, для журналистов и обывателей «Старфайтер» оставался непревзойденным произведением инженерного искусства. В декабре 1958 г. пресса обнародовала очередные достижения самолета. Во время полетов с базы ВМС Пойнт Мугу в Калифорнии летчики ВВС Уильям Смит и Эйнар Эневолдсон (William Т. Smith, Einar К. Enevoldson) установили ряд рекордов скороподъемности, в том числе на высоту 25000 м удалось подняться за 266,03 с.
Такая реклама способствовала продвижению F-104A на международный рынок. 36 самолетов продали в Иорданию. Один F-104A (№ 56-770) передали канадским ВВС для оценки перед принятием решения о закупке. В 1961 г. приобрести 36 «Старфайтеров» собиралась Индия. Однако в самый последний момент индийцы оказались и переключились на советские МиГ-21. В ответ США продали десять F-104A «заклятому другу» Индии — Пакистану.
Эксплуатация большинства F-104 в авиации ПВО продолжалась до 1960 г., когда им на смену пришли перехватчики F-101B и F-106A. Еще оставшиеся в строю «Старфайтеры» собрали в 319-й и 331-й эскадрильях Командования ПВО. В конце 1967 г. на них установили более мощные двигатели J70-GE-19, но через два года все же сняли с вооружения.
Многие выведенные из «первой линии» самолеты передали в 151 -ю, 157-ю и 197-ю эскадрильи Национальной гвардии. Во время Берлинского кризиса они были переброшены в Западную Германию, где находились до лета 1962 г.
20 «Старфайтеров» переоборудовали в радиоуправляемые самолеты-мишени QF-104A и зачислили в 3205-ю эскадрилью беспилотных летательных аппаратов авиабазы Эглин во Флориде. Два F-104A (№№ 56-734 и 56-749) были переданы NASA для использования в качестве скоростных самолетов сопровождения во время испытаний экспериментальных летательных аппаратов. Машина № 56-750 носила обозначение JF-104AH применялась для научных исследований на авиабазе Эдвардс.