Цифровой журнал «Компьютерра» № 189

В браузере Mosaic была специальная страница What’s New («Что нового»), на которой собиралась информация о новых сайтах, появившихся в Сети. Однако чтобы такая информация была добавлена разработчиками Mosaic, создатели сайта должны были обратиться с соответствующей просьбой в Национальный центр суперкомпьютерных приложений. Сегодня сложно это себе представить, но данные вносились в ручном режиме, и об оперативности мало кто задумывался.

Но присутствовала и другая проблема: поскольку этот своеобразный браузерный каталог формировался вручную, ни о каких обновлениях входивших в него сайтов узнать было невозможно. Изменения никак не индексировались, о новом контенте ничего не сообщалось, а ссылки быстро устаревали и становились недействительными.

Как раз в эти годы талантливый студент Джонатон Флетчер (Jonathon Fletcher) завершал обучение в шотландском Университете Стёрлинга по специальности «информатика» (computer science) и очень рассчитывал продолжить образование, поступив в аспирантуру Университета Глазго. Однако финансирование было урезано, и вуз не смог принять нового аспиранта, поэтому Флетчер вернулся в alma mater и устроился на работу в технологический департамент Университета Стёрлинга. Здесь он впервые столкнулся с интернетом и со страницей What’s New браузера Mosaic.

Работая над созданием университетского веб-сервера, Флетчер понял, насколько несостоятельна сама идея, положенная в основу страницы What’s New. Ручное добавление сайтов и невозможность отслеживания обновлений делали её практически бесполезной. А поскольку Флетчер был дипломированным специалистом как раз в области компьютеров, он решил написать программу, способную автоматически индексировать изменения внесённых в список сайтов и позволяющую осуществлять поиск по актуальным страницам.

Так на свет появился первый в мире поисковый робот, «веб-паук», а это именно та технология, которая лежит в основе всех современных поисковых систем, включая Google, «Яндекс», Yahoo! и другие.

Флетчер назвал свою программу JumpStation. Она включала в себя список страниц, которые должен посетить поисковый робот, а также алгоритмы автоматической индексации и посещения всех гиперссылок, которые встречались ему на пути. Процесс должен был продолжаться до тех пор, пока роботу больше некуда будет зайти. Флетчер быстро написал простой в использовании поисковый алгоритм по индексируемым страницам и разместил ссылку на свою страницу на What’s New. Спустя 10 дней после первого запуска JumpStation, 21 декабря 1993 года, «паук» остановился: он проиндексировал 25 тысяч страниц.

К июню 1994 года количество проиндексированных JumpStation страниц достигло уже 275 тысяч. Интернет бурно развивался, и стали очевидны ограничения маленького университетского сервера: ёмкость винчестеров тогда была несоизмерима с современной, а сами жёсткие диски были очень дорогими. Недостаток места вынудил Флетчера ограничить глубину индексирования только названиями страниц и заголовками опубликованных на них текстов, однако даже с такой нагрузкой существующее оборудование справлялось с трудом.

К сожалению, Университет Стёрлинга не мог обеспечить необходимое финансирование, а Флетчер не сумел убедить руководство в перспективности проекта JumpStation, поэтому он был постепенно свёрнут. К тому же проект не являлся основной работой Флетчера, который должен был заниматься системным администрированием и технической поддержкой университетских занятий. История JumpStation закончилась, когда Флетчеру предложили научную работу в Токио, от которой молодой специалист просто не мог отказаться.

Разумеется, поиск по компьютерным базам данных существовал задолго до интернета и робота Флетчера. Однако именно он придумал систему поиска в Сети со всеми её необходимыми компонентами, присущими современным поисковым движкам.

* * *

В отличие от создателей Google Сергея Брина и Ларри Пейджа, имя Джонатона Флетчера ни о чём не говорит даже специалистам. Сегодня Флетчер живёт в Гонконге, и о его вкладе в развитие Всемирной сети знают лишь бывшие сотрудники по Университету Стёрлинга.

_{Джонатон Флетчер (в середине) на конференции SIGIR 2013.}

И хотя Флетчер давно не работает в области обработки информации, бывшие коллеги не забыли о его существовании, и совсем недавно он был приглашён на международную конференцию по поиску информации SIGIR 2013, проходившую с 28 июля по 1 августа в ирландском Дублине. Первая же секция, открывшая форум, была посвящена 20-летию создания JumpStation — самого первого поискового движка в интернете, который работал и выглядел для пользователя практически так же, как и современные системы.