SEO для Чайников

Когда один и тот же ресурс доступен по разным URL-адресам, например, с префиксом www и без этого префикса, и при этом они не склеены между собой, возникает проблема дублированного контента. Поисковые роботы в данном случае могут посчитать, что по одному из адресов контент не уникален и поместить его в дополнительные результаты поиска. Не всегда выбранный поисковиком адрес дубля устраивает владельца сайта, поэтому следует избегать этой ошибки, склеивая между собой основной домен с неосновным зеркалом или со всеми алиасами домена.

Для того, чтобы проверить наличие данной ошибки, нужно ввести в адресную строку браузера адрес сайта с www. и без www. Если сайт доступен и в первом и во втором случае и при этом в файле robots.txt не прописана директива Host, тогда вы не выбрали основной домен для продвижения.

Для исправления ошибки необходимо в файле robots.txt всех зеркал добавить директиву Host с указанием основного домена, например.

User-Agent: Yandex

Host: www.site.ru ,

где домен www.site.ru (без http) является выбранным вами основным доменом.

К тому же следует поставить 301 редирект с неосновного домена на основной. Таким образом, при вводе, например, адреса http://site.ru/articles/ в браузер, пользователя должно редиректить на основной домен http://www.site.ru/articles/.

Доступность главной страницы по разным адресам

Главная страница сайта должна быть доступна лишь по основному адресу http://www.site.ru/. Если она доступна также и по другим адресам, например, http://www.site.ru/index.php, то возникает ошибка дублированного контента, из-за которой возможно падение позиций сайта при удобном стечении обстоятельств (сочетании других факторов).

Для проверки наличия данной ошибки оптимизации необходимо ввести в браузер адрес с index.php или index.html, например,

http://www.site.ru/index.php

Если страница доступна и нет редиректа на основной домен, то ошибка существует. Также найти дубли главной страницы можно, введя следующую команду в поиске Яндекс или Google:

site:site.ru часть текста с главной

, где site.ru — доменное имя сайта.

Для исправления этой ошибки следует также использовать 301-ый редирект с дублей на основной домен, либо отдавать 404-ую ошибку (страницы не существуют). До этого следует из результатов поиска удалить все дубли (например, это делается с помощью панели для вебмастеров в Google).

Наличие несуществующих страниц

Для несуществующих документов может выдаваться главная (или другая) страница сайта с 200-ым кодом ошибки, а не с 404-ым. В данном случае, опять же, может возникнуть проблема дублированного контента.

Чтобы определить наличие ошибки, нужно ввести в адресную строку браузера любую несуществующую страницу анализируемого сайта, например,

http://yandex.ru/not/exists

Если в HTTP заголовках выдается HTTP/1.1 404 Not Found, то все нормально, сайт отдает 404-ую ошибку. Если же в заголовках присутствует 200 ошибка или 304-ая (Not Modified), то следует исправить этот недочет.

Еще одним способом является проверка отклика для анализируемой страницы.

Одним из наиболее удобных сервисов является http://www.bertal.ru/ . Вводим в поле “URL” адрес страницы и нажимаем «Проверить». По завершению анализа внизу страницы появятся результаты анализа, включая информацию об откике страницы (200 ОК, 404, 301 и т.д.)

Необходимо для несуществующих страниц выдавать соответствующий код, чтобы поисковый робот не добавлял их в индекс. Обычно это настраивается в используемой CMS. Нужно ссздать страницу 404 ошибки в стиле дизайна сайта с текстом, информирующем об отсутствии страницы с запрашиваемым адресом на сайте или других возможных ошибках (неверно введен URL страницы и т. п.), а также с информацией о возможных вариантах решения проблемы — воспользоваться основными разделами сайта, перейти на главную страницу, воспользоваться поиском и др.

Открытые серверные логи

Открытые серверные логи увеличивают количество неинформативных страниц в индексе поисковой системы, уменьшая доверие к сайту и скорость индексации важного контента.

Необходимо ограничить доступ к файлам логов на сервере. Например, если логи хранятся в папке /logs/, то необходимо настроить 403 отклик (403 статус страницы означает, что доступ запрещен) для адреса http://site.ru/logs/. Это можно сделать, разместив в папке файл .htaccess со строкой «Deny from all”.

Идентификатор сессии