Вселенная. Краткий путеводитель по пространству и времени: от Солнечной системы до самых далеких галактик и от Большого взрыва до будущего Вселенной

Обработка данных на пути к окончательному научному результату может состоять из многих этапов. Сначала нужно по возможности отфильтровать различные шумы, связанные со свойствами как наблюдаемых объектов, так и детектора, т. е. выделить собственно сигнал, который мы хотим анализировать. Сигнал может быть не просто слабым, он может быть ниже уровня шумов, но тем не менее в ряде случаев работа с данными позволяет его идентифицировать и отделить от паразитного сигнала. Далее сам анализ может быть связан со сложной обработкой: поиском периодичности, или поиском сигнала определенной формы (если мы говорим о временных рядах), или идентификацией спектральных линий на фоне априори неизвестных влияний (эффект Доплера, гравитационное смещение, эффект Зеемана и многое другое). Наконец, когда получены научные данные, освобожденные от фоновых шумов, и получены параметры астрономических источников, сложный анализ может понадобиться для поиска корреляций между свойствами разных объектов, для сопоставления данных наблюдений с теоретическими предсказаниями и компьютерными моделями. В частности, отдельную проблему представляет автоматическая классификация объектов и событий при обработке обзоров неба. В настоящее время для этого все чаще используют нейронные сети – обучаемые компьютерные системы, пригодные для решения ряда задач (в частности, для распознавания образов).

Для автоматической классификации астрономических источников применяют нейронные сети.

Астрономия постепенно меняется. Все бóльшую роль играют крупные проекты, генерирующие огромное количество информации в ходе обзорных наблюдений. При этом астрономы зачастую не только не сидят у телескопов, но даже не занимаются первичной обработкой огромных потоков данных – это выполняется специальными программами (pipeline). Например, в проекте SDSS (Sloan Digital Sky Survey, Слоановский цифровой обзор неба) за одну ночь наблюдений генерируется около 200 гигабайт информации. Проекты следующего поколения будут давать уже много терабайт данных в день, так что астрофизика становится наукой, имеющей дело с «большими данными» (big data).

В проектах современных инструментов, таких как SKA, стоимость обеспечивающих работу (включая первичную обработку данных) суперкомпьютеров становится заметной частью полной сметы. У телескопов в удаленных местах, таких как Гавайские острова, возникают проблемы с передачей данных: между островами и материком нет широкополосных оптоволоконных каналов с большой пропускной способностью, а спутниковая передача не может обеспечить поток данных, соответствующий производительности будущих телескопов. При создании некоторых проектов на спутниках обсуждается установка фильтров, которые будут отсекать часть спектра (т. е. искусственно уменьшать до нуля чувствительность в некотором диапазоне длин волн), поскольку всю получаемую на детекторе информацию невозможно будет передать на Землю. Это ставит совершенно новые задачи перед астрономическим сообществом.

Многие открытия совершаются не благодаря новым наблюдениям, а благодаря более тщательному и изощренному анализу данных (data mining). А в новых наблюдательных проектах часть открытий совершается уже не людьми, а компьютерами (например, обнаружение астероидов в больших обзорах неба вроде Pan-STARRS). Это означает, что важными становятся не только технологии создания телескопов, но и технологии работы с данными (в том числе уже собранными). Появился даже новый термин – астроинформатика.

Без современной компьютерной обработки данных многие астрономические открытия никогда не были бы сделаны.

Современной тенденцией является открытый доступ к данным (постепенно это даже становится требованием). В некоторых случаях, например при обзорных наблюдениях на спутниках, данные могут сразу попадать в открытый доступ. Но обычно группам исследователей (скажем, авторам заявки на наблюдения конкретной области неба) предоставляется некоторый период времени, в течение которого данные находятся в эксклюзивном распоряжении. Однако по истечении некоторого срока (чаще всего это один год) данные попадут в открытый доступ вне зависимости от того, успели ли авторы заявки обработать и опубликовать данные, что подстегивает работу и позволяет полнее использовать полученную информацию. Все это приводит к тому, что с течением времени все астрономические данные становятся общедоступными. Например, проект SDSS является, по многим оценкам, самым продуктивным в истории астрономии именно благодаря открытому доступу к его данным. В астрономии данные часто делят на три основных уровня.