В сентябре 1939 года его назначают командующим только что сформированной 6-й армии, которая в составе Украинского фронта участвовала в освобождении Западной Украины. Затем армия была развернута на львовском направлении.
11 июля 1940 года Филипп Иванович назначен начальником Разведывательного управления Генерального штаба РККА, заместителем начальника Генштаба. В этой должности он пробыл до июля 1941 года. Сотрудник военной разведки в 1933–1946 годах, генерал-майор, а в то время капитан, начальник отделения 1-го (западного) отдела Разведупра ГШ КА М. Мильштейн писал: «В советской исторической литературе существуют разные и довольно противоречивые описания его деятельности на этом посту'. В некоторых работах можно даже найти мнение, якобы именно на этом генерале лежит вина за несвоевременность решения о приведении войск в боевую готовность накануне начала Великой Отечественной войны. Могу сказать лишь одно: как начальник военной разведки он делал все для того, чтобы наша служба в крайне сложных, чрезвычайных условиях того времени функционировала эффективно и могла успешно выполнять возложенные на нее задачи… Перед войной советская военная разведка своевременно и в полном объеме предоставила политическому и военному руководству страны все необходимые данные о сосредоточении немецких войск, их составе, планах и сроках возможного нападения фашистской Германии на Советский Союз… Соглашусь, что не всегда данные были точными и своевременными, поступали сообщения противоречивые, а иногда и ложные. Но нет и не было еще в мире такой разведки, которая всегда и при любых обстоятельствах предоставляла бы только точные сведения! Главная трудность для нашей (и не только нашей) разведки состояла не в том, чтобы добывать информацию, а в том, чтобы в нее поверило политическое и военное руководство — особенно если собранные сведения не укладывались в схему, в плену которой находилось само это руководство… 20 марта 1941 года начальник Главного разведывательного управления генерал Ф.И. Голиков представил руководству страны доклад, содержавший сведения исключительной важности. В этом документе назывались возможные направления ударов немецко-фашистских войск при нападении на Советский Союз. Как позднее выяснилось, эти данные последовательно отражали этапы разработки гитлеровским командованием плана “Барбаросса’’, а в одном из вариантов практически была изложена суть этого плана. Правда, в конце доклада говорилось о том, что слухи и документы, говорящие о неизбежности войны Германии против СССР весной этого года, необходимо расценивать как дезинформацию. Как понимать этот вывод? Думаю, что, если бы Голиков в конце доклада не сделал такого вывода, этот документ никогда не дошел бы до Сталина. Такие были времена. Но текст доклада говорил сам за себя, и он полностью снимает обвинения с военной разведки. В дальнейшем стал известен еще один подписанный Филиппом Ивановичем Голиковым подробный доклад о сосредоточении немецких войск на советской границе. Он датирован 5 мая 1941 года и был адресован Сталину, Молотову и другим руководителям ВКП(б) и советского государства. В выводах говорилось о том, что ‘‘необходимо считаться с дальнейшим усилением немецкого сосредоточения против СССР"».
Сходная оценка деятельности Голикова дается в статье современного исследователя истории военной разведки В. Лота «План Z отменяется навсегда». Сославшись на мнение бывшего первого заместителя начальника ГРУ Генштаба (1978–1988) генерал-полковника А. Павлова — «Выводы Голикова — это угодничество. И, конечно, страх за свою судьбу», — он пишет далее: «Трудно сказать, что думал об этом сам Ф. Голиков. Но через некоторое время он, видимо, понял, какую серьезную ошибку допустил 20 марта 1941 года. Через месяц, когда в Разведуправление Красной Армии поступили новые неопровержимые доказательства о подготовке немцев к войне против СССР, Голиков действовал иначе. 9 мая 1941 года начальник военной разведки докладывал наркому обороны СССР С.К. Тимошенко и начальнику Генерального штаба Г.К. Жукову материалы, подготовленные военным атташе СССР в Берлине генерал-майором В.И. Тупиковым. В том докладе, который назывался “О планах германского нападения на СССР", давалась объективная оценка группировки германских войск и указывались направления их ударов при нападении на СССР».