Переход в облако. Практическое руководство по организации облачных вычислений для ученых и IT-специалистов

В этой книге мы попытались дать общее представление о современном состоянии облачных вычислений. Текст может послужить вводным курсом для выпускников, студентов магистратуры и аспирантов, обучающихся любым дисциплинам: он даст представление о потенциальных возможностях использования облачных технологий и о том, как они могут помочь в разработке проектов и будущей работе.

Хуан Аньель

Диего Монтес

Хавьер Родейро Иглесиа

Оренсе, Испания

Ноябрь 2019 г.

Благодарность

Эту книгу мы хотели бы посвятить нашим семьям и друзьям за их ежедневную поддержку и понимание, позволяющие нам отдавать себя исследовательской работе, что слишком часто происходит за счет времени, которое мы могли провести с ними.

Кроме того, мы хотим поблагодарить Springer за интерес к этой книге и возможность опубликовать ее, и особенно Закари Романо, нашего ответственного редактора, а также редакторскую службу AJE. Особая благодарность Пауло Родригесу из Dropbox за полезные дискуссии и содействие в работе, за внесенный в эту книгу вклад. Кроме того, мы хотели бы поблагодарить Google Enterprise, Microsoft Research и Amazon Web Services за предоставленные вычислительные ресурсы и техническую поддержку для проведения экспериментов с использованием их облачных платформ. Том Грей, Барак Регев и Шайлеш Рао из Google, Кендзи Такеда из Microsoft Research – мы выражаем вам глубокую признательность. Также мы благодарим коллег из ClimatePrediction.net в Оксфордском университете, особенно Дэвида Уоллома, всех сотрудников Галисийского центра суперкомпьютерных вычислений (CESGA), в частности Карлоса Фернандеса, а также Томаса Фернандеса Пену из Университета Сантьяго-де-Компостела.

Мы благодарим преподавателя кафедры физиологии Университета Сантьяго-де Компостела Сулаю Т'oвар и профессора Хосе Агустина Гарсию из Университета Эстремадуры за отзывы о черновых версиях этой книги. Кроме того, мы выражаем признательность Александре Иглесиас за ее вклад в дизайн обложки.

Часть исследований, проведенных в течение многих лет и позволивших нам накопить знания для создания этой книги, финансировались различными агентствами и учреждениями, в т. ч. Европейским фондом регионального развития (ERDF). Кроме того, в последние годы Хуану Аньелю была оказана поддержка в виде гранта Рамона-и-Кахаля от правительства Испании (RYC-2013–14560).

Список сокращений

Глава 1 Почему вам нужна эта книга?

Активное использование компьютеров в научных целях постоянно стимулировало развитие технологий. В исследовательской работе компьютеры используются по-разному, но наиболее востребованными их функциями являются хранение данных и высокопроизводительные вычисления (HPC). При таком использовании наличие сетевого оборудования всегда являлось обязательным требованием; однако оно потеряло актуальность с развитием концепции облачных вычислений в последнее десятилетие и внесерверной обработки данных в последние годы. И действительно, отчет проекта top500.org[1] гласит: за период 2016–2017 гг. рынок HPC вырос примерно на 1,6 %, тогда как использование облачных HPC-сервисов возросло с 7 до 44 %. Скорее всего, объяснить эту разницу можно тем, что HPC как услуга (HPCaaS) используется для дополнения ресурсов локальных инфраструктур HPC, когда таких ресурсов недостаточно для удовлетворения нужд пользователя. Это, пожалуй, одна из самых привлекательных особенностей облачных вычислений, стимулирующая их использование в исследованиях: удовлетворение потребности в вычислительных ресурсах при реализации тех или иных проектов.