Инноваторы. Как несколько гениев, хакеров и гиков совершили цифровую революцию

В январе 1994 года Джастин Холл запустил свой эксцентричный веб-сайт. Тогда в мире насчитывалось всего семьсот сайтов, к концу того года их было уже 10 тысяч, а еще через год — 100 тысяч. Когда стало возможным подключаться к Всемирной паутине с любого персонального компьютера, перед нами открылись невероятные возможности: любой человек мог получить любой веб-контент и поделиться своим контентом со всеми желающими. Однако этот новый, только зарождавшийся мир мог оказаться бесполезным, ведь информацию в нем нужно было как-то искать. Человечество нуждалось в простом инструменте для поиска сетевого контента с помощью компьютеров — в интерфейсе «человек — машина — Сеть».

Первыми попытками создать нечто подобное были каталоги веб-страниц, составленные вручную. Среди них встречались довольно специфичные и несерьезные списки, как, например, «Ссылки Джастина из подполья» Холла или «Бесполезные сайты» Пола Филлипса. Другие были более основательными и полными, например «Виртуальная библиотека Всемирной сети» Тима Бернерса-Ли, страничка NCSA «Что нового?» и «Проводник по Глобальной сети» Тима О'Райли. Где-то между этими двумя лагерями располагался сайт, созданный двумя аспирантами из Стэнфорда, которые сделали качественный шаг вперед в этой области. Их страница была открыта в начале 1994 года и пережила несколько реинкарнаций, одна из которых называлась «Путеводитель Джерри и Дэвида по Всемирной сети».

Джерри Янг и Дэвид Фило должны были дописывать свои докторские диссертации, но вместо этого играли в спортивные симуляторы, где игроки становились владельцами баскетбольного клуба и должны были собрать хорошую команду. «Мы занимались чем угодно, лишь бы не писать диссертации»^[1029], — вспоминает Янг. Он искал способы пробраться на серверы игры, чтобы получить статистику других игроков. В то время серверы еще работали с протоколами FTP и Gopher, которые служили для передачи информации в Интернете и были популярны до появления Всемирной паутины.

Когда вышел браузер Mosaic, Янг заинтересовался Всемирной сетью и вместе с Фило начал вручную составлять каталог веб-сайтов, который постоянно рос. Приятели объединяли ссылки в категории, такие как бизнес, образование, развлечения, правительство. Каждый раздел имел десятки подкатегорий. В конце 1994 года они переименовали свой каталог в Yahoo!.

Было очевидно, что вручную обновлять списки сайтов невозможно, ведь каждый год количество веб-страниц увеличивалось в десятки раз. К счастью, тогда уже существовал способ получать информацию с FTP и Gopher-ресурсов. Речь шла о поисковых роботах, которые обходили интернет-серверы, собирали данные и индексировали их. Два самых известных робота-сборщика носили имена влюбленной парочки из комиксов: Арчи (для FTP) и Вероника (для Gopher). В 1994 году многие предприимчивые инженеры писали свои поисковые машины и роботов. Среди них можно упомянуть, например, WWW Wanderer Мэтью Грея из Массачусетского технологического института, WebCrawler Брайана Пинкертона из Университета Вашингтона, AltaVista Луи Монье из компании Digital Equipment Corporation, Lycos Майкла Молдина из Университета Карнеги — Меллон, OpenText, созданный программистами из канадского Университета Ватерлоо, и Excite, разработанный шестью друзьями из Стэнфорда. Эти поисковые системы использовали роботов, называемых ботами, которые кочевали по гиперссылкам всей Сети подобно тому, как заядлые пьяницы заглядывают в каждый паб на своем пути. Роботы собирали URL-адреса и информацию о каждом сайте, затем данные маркировались, индексировались и помещались в базу данных, доступ к которой имели поисковые серверы.

Фило и Янг из Yahoo! не стали создавать собственного робота-сборщика, а купили готового. Друзья продолжали подчеркивать важность своего созданного людьми каталога. Когда человек вводил поисковый запрос, компьютеры Yahoo! анализировали составленный вручную каталог и, если находили что-то подходящее, выдавали пользователю результаты списком. Если ничего похожего в каталоге не было, запрос перенаправлялся в поисковую систему с роботами.