Великий переход

Центры обработки данных компании Google разрабатывались лучшими умами в области компьютерных технологий. Подобно машине Эдисона, они работают как единая тонко настроенная система, которую легендарный разработчик компьютеров Дэнни Хиллис назвал «самым большим компьютером в мире», все компоненты которого спроектированы так, чтобы работать совместно. В каждом центре находится один или несколько «кластеров» серверных компьютеров. Серверы представляют собой чуть более крупные компьютеры, чем домашние ПК, собранные из дешевых типовых микропроцессоров и жестких дисков, которые компания Google покупает у производителей оптом. Вместо того чтобы быть жестко связанными друг с другом внутри корпуса, компоненты просто присоединяются к высоким металлическим стойкам, что облегчает процесс их замены в случае выхода из строя. Каждый компьютер получает электроэнергию через блок питания, созданный инженерами Google, который минимизирует потребление энергии. На машинах установлена версия бесплатной операционной системы Linux, оптимизированная программистами Google. Компания также владеет большей частью оптоволоконных кабелей, связывающих вместе ее центры, что позволяет ей точно контролировать поток данных между ними и общественным интернетом.

Наиболее важный объединяющий элемент системы – это программное обеспечение, созданное компанией Google для координации работы всех серверов в кластере на одном уровне и всех кластеров во всех центрах на более высоком уровне. Несмотря на то что компания держит свою технологию в тайне, мы в общих чертах знаем, как работает ее программное обеспечение при выполнении поиска в интернете. База данных Google содержит копии практически всех интернет-страниц и постоянно обновляется специальным поисковым роботом-«пауком», который «ползает» по ссылкам Всемирной паутины и сканирует содержимое миллиардов страниц. Набор секретных алгоритмов анализирует все сайты для создания всеобъемлющего индекса, в котором каждой странице присваивается рейтинг, отражающий ее соответствие определенным ключевым словам. Затем индекс дублируется в каждом кластере. Когда пользователь вводит ключевое слово в поисковой системе Google, программа направляет запрос в один из кластеров, где он одновременно обрабатывается сотнями или тысячами серверов. Поскольку каждому серверу необходимо просто сравнить ключевое слово с небольшой частью всего индекса, которую Google называет «осколком индекса», такая «параллельная обработка» идет значительно быстрее, чем если бы один компьютер сравнивал ключевое слово со всем индексом. Программное обеспечение собирает и обобщает все ответы серверов, располагает найденные страницы в порядке значимости и отправляет список результатов на компьютер пользователя.

Хотя, по словам инженеров Google, обработка типичного поискового запроса требует «десятков миллиардов циклов [микропроцессора]» и считывания «сотни мегабайт данных», весь процесс происходит в течение доли секунды. Координирующее программное обеспечение гарантирует, что вычислительная нагрузка сбалансирована между всеми кластерами и отдельными серверами. Она поддерживает быструю и эффективную работу системы. При поломке компьютера или одного из компонентов программа просто обходит его. Поскольку система состоит из тысяч полностью взаимозаменяемых компонентов, она не может выйти из строя.

Ни одна корпоративная вычислительная система не может сравниться с системой Google по эффективности, скорости и гибкости. Один из аналитиков считает, что по сравнению с типичной компанией стоимость обработки данных для Google в десять раз меньше. Вот почему система Google заставляет Билла Гейтса и других руководителей компаний сферы информационных технологий так нервничать. Она обладает разрушительным потенциалом коммунальных вычислений. Если компании смогут использовать центральные станции, наподобие станций Google, чтобы решать все или большую часть своих задач по обработке данных, то они сократят расходы на собственные аппаратные средства и программное обеспечение. А все эти сэкономленные доллары пополнили бы казну Microsoft и других технологических гигантов. Эти поставщики не могут успокоить себя даже надеждой на то, что будут продавать свою продукцию новым компаниям коммунального обслуживания. В конце концов, Google создает собственные компьютеры и работает на бесплатном программном обеспечении с открытым исходным кодом. Эта компания практически не нуждается в старых поставщиках.