2. «Червяк» (crawler) – как и паук, занимается скачиванием страниц. Кроме того, он исследует обнаруженные веб-страницы и извлекает все находящиеся на них ссылки. Полученные ссылки впоследствии будут использоваться пауком для дальнейшего путешествия по Сети.
3. Индексатор (indexer) – программа, служащая для упорядочивания информации, найденной пауками. Индексатор разбивает текст документа на составляющие его слова, при этом запоминая их местонахождение, анализируя, написано слово прописными или строчными буквами, является ли оно названием документа, текстом ссылки и т. д.
4. База данных (database) – представляет собой хранилище всех обработанных данных, накопленных поисковой системой.
5. Механизм выдачи результатов (search engine) – предназначен для взаимодействия пользователя с базой данных. С ним вы постоянно будете иметь дело при поиске какой-либо информации. Именно этот механизм определяет, какие вебстраницы вам представлять в соответствии с вашим запросом.
После задания вами ключевого слова или фразы поисковая система осуществляет поиск и выдает вам результат, который представляет собой список найденных веб-страниц, соответствующих вашему запросу. Для определения порядка, в котором будет показаны документы в списке, поисковая машина применяет алгоритм ранжирования. В идеале наиболее релевантные вашему запросу страницы будут расположены в списке первыми. Однако идеальный алгоритм ранжирования не найден, поэтому каждая поисковая система использует собственный, хотя отбор результатов во всех системах основывается примерно на следующих критериях:
– наличие ключевых слов в заголовке;
– плотность ключевых слов в содержимом документа, то есть количество искомых слов в тексте веб-страницы;
– расположение ключевых слов в документе;
– стиль ключевых слов (полужирный, курсив);
– индекс цитируемости – количество ссылок, ведущих на данную веб-страницу с других страниц;
– наличие ключевого слова в имени домена или адресе страницы.
После того как вы щелкнете на ссылке одного из документов в списке, предложенном вам поисковой системой, веб-страница будет запрошена с того сервера, на котором она находится.
Популярные поисковые машины
Наиболее популярны следующие поисковые машины:
– Google –(рис. 4.1);
– Yahoo! – http://www.yahoo.com;
– AltaVista – http://www.altavista.com;
– Lycos – http://www.lycos.com;
– Excite – http://www.excite.com;
– AOL Search – http://search.aol.com;
– HotBot – http://www.hotbot.com.
На этом, разумеется, список популярных поисковых систем не заканчивается – их количество исчисляется сотнями. Однако я уверен, что для работы с англоязычными сайтами вам с лихвой хватит и этих.
Следует отметить, что практически все представленные выше поисковые машины могут работать и с кириллицей. Но для поиска информации на русском языке все-таки рекомендую отечественные поисковые системы:
– Яндекс – http://www.yandex.ru;
– Рамблер – http://www.rambler.ru;
– Апорт – http://www.aport.ru;
– mail.ru – http://www.mail.ru.
Существуют и другие русскоязычные поисковые системы, однако эти наиболее популярны, особенно первые две.
Рис. 4.1. Поисковая система Google
Формирование запросов
Если вы не хотите углубляться в детали техники поиска, то можете просто задать поисковой машине вопрос так же, как задали бы его человеку, у которого хотите получить совет. Например, «как быстро похудеть», «есть ли жизнь на Марсе», «где раки зимуют» (рис. 4.2) или просто «работа журналиста».
Не исключено, что вы быстро найдете интересующую вас информацию. Но может случиться так, что поисковая система завалит вас кучей совсем не интересных вам ссылок. Так, на запрос «работа журналиста» Яндекс нашел более 180 000 документов.
Одними из первых в списке стояли ссылки на веб-страницы с информацией о конкурсе работ журналистов на тему иммунизации населения против кори и краснухи, о регламентировании работы журналистов в кризисных ситуациях и о влиянии внесенных дополнений к закону о СМИ на работу журналистов. Все это, конечно, довольно занимательно, но вряд ли вас удовлетворит.
Получить слишком много информации не намного лучше, чем не получить ничего. Мудрецы считают, что правильно заданный вопрос уже содержит в себе половину ответа. Это особенно справедливо по отношению к поисковым машинам.
Существует немало способов увеличения эффективности поиска. Рассмотрим самые основные из них.
Рис. 4.2. Формирование поискового запроса
Увеличение количества ключевых слов