Инноваторы. Как несколько гениев, хакеров и гиков совершили цифровую революцию

В сфере научных интересов Брина был сбор и анализ данных. Вместе с профессором Мотвани он открыл студенческую группу “Анализ данных в Стэнфорде”, сокращенно MIDAS (Mining Data at Stanford). Среди ее участников был аспирант Крейг Сильверстейн, который стал первым сотрудником компании Google. Брин и Сильверстейн опубликовали два анализа потребительской корзины, в которых оценивали, какова вероятность того, что потребитель, покупавший предметы А и В, купил бы предметы С и D¹⁴². Так Брин заинтересовался методами, позволяющими анализировать данные из интернет-кладовой.

Виноград помог Пейджу выбрать тему для диссертации. Они перебрали с дюжину идей, включая беспилотные автомобили (позднее такой проект появится у Google). В конечном счете Пейдж решил разработать способ оценки влиятельности интернет-сайтов. Он рос в академической среде, поэтому один из критериев взял из научной практики, где авторитетность исследований зависела в том числе от того, как часто на работу ссылаются в примечаниях и указывают в библиографии другие исследователи. По аналогии Пейдж предложил считать, что популярность веб-сайта связана с тем, сколько других интернет-ресурсов приводит на него ссылки.

Однако существовала одна проблема. Тим Бернерс-Ли спроектировал Всемирную сеть таким образом, что гипертекстовые ссылки мог создать каждый, к ужасу пуристов вроде Теда Нельсона.

Любой пользователь мог сослаться на любой веб-сайт без разрешения и без регистрации ссылки в базе данных, к тому же ссылки не обязаны были работать в обе стороны. Вследствие этого Сеть развивалась довольно бессистемно. В таких условиях было трудно посчитать, сколько ссылок ведет на определенную страницу и откуда. Можно было открыть веб-ресурс и посмотреть, на какие сайты он ссылается, однако было невозможно проверить, сколько ссылок ведет на этот сайт и каков их характер. “В этом смысле Всемирная паутина проигрывала другим инструментам для сотрудничества, потому что у гипертекста имелся один серьезный недостаток: он не позволял делать ссылки двунаправленными”¹⁴³, — рассказывает Пейдж.

Тогда Пейдж начал придумывать, как собрать все ссылки в огромную базу данных, чтобы можно было отследить их источники и выяснить, какие сайты на какие страницы ссылались. Таким образом он надеялся простимулировать сотрудничество между людьми. Его метод позволил бы людям комментировать другие странички на своих сайтах. Если Гарри написал комментарий и дал ссылку на сайт Салли, то посетители сайта Салли смогли бы пройти по ссылке обратно и прочесть его отзыв. “Если мы закольцуем ссылки и сможем ходить по ним в обе стороны, люди смогут комментировать другие сайты и просто ссылаться на них на своей странице”¹⁴⁴, — объяснял Пейдж.

Пейдж придумал, как проследить все ссылки в обратном направлении. Он проснулся посреди ночи, и в голову ему пришла довольно дерзкая идея: “Я подумал: а что, если загрузить все до единого интернет-сайты и просто зафиксировать, откуда мы на них пришли. Я схватил ручку и начал писать. Я полночи лихорадочно записывал детали своего плана, убеждая себя, что это сработает”¹⁴⁵. Пейдж вынес урок из своего ночного прозрения: “Не нужно очень серьезно относиться к целям, которые вы собираетесь себе поставить, — скажет он позднее израильским студентам. — В университете нам как-то сказали: «Нужно покушаться на невозможное, в разумных пределах». Это очень хороший совет. Вы должны пытаться делать вещи, которые мало кто стал бы пробовать”¹⁴⁶.

Составить карту Всемирной паутины было непросто. Даже тогда, в январе 1996 года, она состояла из 100 тысяч веб-сайтов, которые были соединены миллиардом ссылок и на которых хранилось 10 миллионов документов. И каждый год эти цифры росли в геометрической прогрессии. В начале лета 1996 года Пейдж создал поискового робота для сбора данных, который должен был начать с личной страницы Пейджа, а затем переходить по всем ссылкам, которые ему встречались. Он перемещался по сети как настоящий паук и сохранял текст всех гиперссылок, названия страниц и информацию о том, откуда шла ссылка, по которой он попал на конкретный сайт.

Пейдж сказал Винограду, что по примерным расчетам робот-сборщик выполнит свое задание за несколько недель. “Терри кивнул, хотя отлично понимал, что времени понадобится намного больше. Но он мне этого не сказал, Терри был мудр, — вспоминает Пейдж. — Юношеский оптимизм часто недооценивают!”¹⁴⁷ Вскоре проект Пейджа составлял практически половину интернет-трафика Стэнфорда, а как минимум один раз привел к отключению Интернета по всему кампусу. Однако администрация университета была на стороне Пейджа. “У меня почти не осталось свободного места на диске”, — писал Пейдж Винограду в электронном письме от 15 июля 1996 года. На тот момент он собрал 24 миллиона URL-адресов и более 100 миллионов ссылок. “Мы проверили только около 15 % сайтов, но пока все выглядит очень многообещающе”¹⁴⁸.