Грамотная техническая оптимизация позволяет роботам поисковых систем хорошо и быстро индексировать сайт, такой сайт не выдает ошибки и сбои в работе, каждой странице сайта соответствует только один адрес и др. Ниже представлены некоторые моменты на которые стоит особенно уделить внимание. Полный список параметров для проверки оптимизатором, которым должен соответствовать сайт согласно технической оптимизации, описан в чек. листе по тех. оптимизации (на портале в разделе «Документы»).
Robots.txt – файл, специально предназначеный для роботов поисковых систем. В этом файле указываются параметры индексирования сайта: какие страницы заносить в поисковую базу, а какие исключить. В нём можно указывать директивы, как для всех роботов поисковых систем сразу, так и для роботов каждой поисковой системы в отдельности.
Про составление этого файла и настройку можно подробнее узнать на сайте помощи вебмастерам от Яндекса http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml.
Карты сайта — одна из страниц сайта, информация на которой аналогична разделу «Содержание» обычной книги. Используется как элемент навигации. В карте сайта представлен полный перечень разделов и/или всех страниц, имеющихся на сайте. Нередко, заголовки страниц в списке служат ссылками на эти страницы. Карта бывает двух форматов:
Редиректы (перенаправления) делаются с помощью файла .htaccess, который расположен в корне сайта и доступен только вебмастеру. Так как поисковые системы могут считать сайт с www и без www совершенно различными, то прописывается редирект c сайта без www (http://vashsait.ru) на сайт с www (http://www.vashsait.ru) или наоборот. Это автоматически переадресовывает всех, кто заходит на сайт на нужную страницу.
Настройка видов url страниц - корректный вид url также настраивается с помощью .htaccess. Важно, чтобы все внутренние ссылки на сайте имели одинаковый вид. Это можно оценить по следующим критериям:
Лучше всего, если во внутренних ссылках сайта содержатся псевдостатические адреса. Это значит, что в них не используются спецсимволы: «?», «=», «&», а сами адреса ссылок имеют вид: http://www.vashsait.ru/about.
404 ошибка – одна из самых важных технических доработок, которые обязательно проводить. Если адрес ссылки, ведущей на страницу сайта введен неправильно, важно чтобы посетителю сайта и поисковому роботу отдавалась страница с кодом 404 (несуществующая страница). Тогда в индекс поисковой системы не попадет большое количество страниц с одинаковым текстом, что крайне негативно влияет на ранжирование.
Идентификаторы сессий. Пользователям, впервые попавшим на сайт, присваивается уникальный идентификатор сессии. Адреса страниц сайта в этом случае имеют вид http://www.vashsite.ru/.?PHPSESSID=код_сессии. В результате одна и та же страница может иметь неограниченное количество адресов из-за различных кодов сессий (появляются т. н. дубли страниц). В базе поисковых систем уже сейчас находится множество страниц сайта с такими адресами, различающимися только набором символом после «PHPSESSID=». Наличие большого числа дублей страниц затрудняет индексацию корректных страниц, снижая тем самым эффективность поисковой оптимизации. Для устранения этого необходимо внести правки в программную часть таким образом, чтобы идентификаторы сессий не появлялись в URL страниц вообще, либо были не видны поисковым роботам.
Неинформативные страницы, страницы-дубли и зеркала сайта. В индексе поисковых систем может находиться большое количество страниц, имеющих одинаковое содержание, но разные адреса (страницы-дубли). Роботы поисковых систем считают такие страницы разными и индексируют их все, в результате поисковый индекс «замусоривается» большим количеством дублированного контента, что приводит к проблемам с индексацией сайта роботами поисковых системам.
Наличие дублей страниц в индексе поисковой машины является серьезным препятствием для корректного ранжирования страниц.
Другой проблемой является наличие в поисковом индексе служебных, пустых и иных неинформативных страниц сайта. Такие страницы также «засоряют» поисковый индекс и препятствуют корректному ранжированию страниц.