Руководство по самостоятельному созданию сайта для музыканта или диджея

Конечно, вы можете сами полностью сделать с нуля свой файл robots. txt, благо информации по этому вопросу в интернете навалом, я остановлюсь лишь на основных директивах, которые в нем используются и в двух словах объясню для чего они применяются.

Итак… Что нужно для создания правильного robots. txt

Обязательно должны присутствовать две директивы – User-agent и Disallow. User-agent – определяет для какого бота (от какой поисковой системы) предназначено послание, а функция Disallow запрещает индексировать ту или другую страницу.

Если вы хотите задать для всех ботов одни и теже правила – просто пропишите после функции User-agent символ звездочку. Если при этом нужно запретить (допустим) индексирование страницы ваш-сайт.ru /abc. html и полностью содержимое директории (папки) private, то ваш файл будет иметь такое содержание:

User-agent: *

Disallow: /abc. html

Disallow: /private/

В случае, если вам нужно разрешить полный доступ роботу, который индексирует сайт, ваш файл будет таким:

User-agent: *

Disallow:

Особенности robots. txt

Есть еще несколько особенностей и нюансов, но повторюсь – информации в интернете по этому вопросу (для желающих глубже изучить) достаточно много, поэтому не считаю необходимым подробно на ней останавливаться в рамках данного курса.

Добавлю только то, что нужно разделять директивы для яндекса и остальных поисковиков, в силу того, что для яндекса обязательно присутствие директивы host (чтобы не было проблем с индексацией зеркала ресурса), но понимает ее только яндекс соответственно. Такая вот дурацкая заморочка, но имеет место быть.

Кроме того, желательно, чтобы размер файла не превышал 500 кб (по рекомендации гугла) для избежания ошибок индексации (вручную этого размера вы врядли достигните, но созданные автоматически с помощью некоторых CMS этот файл может превзойти данное ограничение).

Также нужно указать в файле путь к карте сайта, для того, чтобы робот быстрее ориентировался на страницах вашего ресурса, а соответственно чтобы процесс индексации вашего сайта проходил быстрее.

Если вашему мозгу мало – можете продолжить изучение данного, очень захватывающего вопроса. Если достаточно – берите файл http://red-nuts.com/sitedj/robots.txt – меняйте внутри него фразу» «ваш-сайт.ru на адрес своего ресурса и заливайте в корень. На крайний случай – можете взять его в другом месте, но хорошенько проверьте, прежде чем размещать у себя.

Карта сайта

Точнее нужно их две – для поисковых роботов и для людей (ваших посетителей)

Карта XML – для роботов

Необходима для поисковых роботов, чтобы они не плутали по бесконечным перелинковками и четко ориентировались где что находится и куда держать путь, по какой ветке, чтобы правильно все проиндексировать и ничего не пропустить.

В прошлый раз, если помните, мы с вами прописывали файл robots. txt и в нем в самом конце мы как раз делали строку, в которой и прописывался путь к этой самой карте (sitemap. xml). Эти «сайтмэпы» генерирует специальный плагин, который отвечает за то, чтобы показать роботу, что у нас появилась новая статья и в карте она сразу же отображается. Если вы откроете ту последнюю ссылку, то увидите, то эта карта из себя представляет.

Для примера можете посмотреть на мою: http://www.red-nuts.com/sitemap.xml

Там вы можете увидеть все открытые для робота ссылки, последнюю дату генерации карты, приоритеты для робота и как часто происходят изменения.

Чтобы установить этот плагин – заходите в админку вашего сайта, далее в раздел меню Плагины-> Установить новый. В поиск вводим XML Sitemap, Enter, после чего нам в результатах выдадут много разных плагинов. Выбираем Google XML Sitemaps (смотрите скриншот) – жмем установить, затем активировать.

После этого заходим в меню – Параметры (Настройки) и находим там пункт XML-Sitemap

Там мы можем посмотреть и изменить (если нужно) все параметры, увидеть когда была сформирована карта сайта и тд. Трогать там ничего не нужно (особенно, если не знаете для чего какой параметр) – все уже настроено правильно по умолчанию. Напротив построения robots. txt только можете убрать галочку, так как данный файл со всеми настройками у вас уже есть (смотрите скрин).

И обязательно проверьте url карты сайта, что там все в порядке, все открывается (смотрите скрин)

Вот такая картина (у вас скорее всего поменьше) откроется перед вами

Таким образом путевая карта для поисковых роботов готова. Переходим к карте сайта для ваших посетителей.

Карта сайта для людей

Когда на вашем ресурсе будет достаточно большое количество статей и публикаций, чтобы лучше ориентироваться в них новым пользователям в помощь создается карта сайта. Заходя на нее пользователь сразу видит все древо информации, которая представлена на вашем сайте и может легко ориентироваться, особенно, если его интересуют публикации по какой то определенной теме.