С. Ц.: В 2006 – 2007 годы, когда ссылки стали «клоачить», по Интернету даже гуляли базы IP «Яндекса» и Google, которые подставлялись, притом обновляясь, чтобы все (рекламодатель, веб — мастер, оптимизатор) видели ссылки, а «Яндекс» в упор не замечал.
А. Ж.: «Яндекс» потом сам открыл, как проверять его IP, – обратным запросом. Не так давно, когда проблемы с клоакингом приобрели нешуточный масштаб, в «Яндексе» была найдена уязвимость. Можно было посмотреть, зайдя с IP «Яндекса», как отображается ресурс. На данный момент она доступна только из браузера. Но хитрые веб — мастера нашли выход. В общем, если стоит запрет на отображение донора в данном сервисе, то, скорее всего, что — то нечисто.
Много ли сейчас таких сайтов? Как менялась обстановка после 2007 года?
С. Ц.: Около 5 % всех ссылок имеют так или иначе выраженные нарушения, либо осознанные, либо неосознанные. На сегодняшний день все способы сокрытия известны. Раньше что — то еще было в диковинку: noindex, nofollow, robots.txt. Очень много ошибок в robots.tx веб — мастера делают из — за неправильного составления написания, не придерживаются формата. Зачастую не учитывают, что robots. xt нужно создавать отдельно под «Яндекс» и под Google. А они делают один: мол, под «Яндекс» – значит «под все».
На 5 % впору рукой махнуть – отклонения в пределах допустимого. Но это сдерживающая сила: если хоть биржа, хоть оптимизатор, хоть агрегатор, хоть конечный клиент опустит руки и не будет выявлять нарушения, все будет куда хуже.
А. Ж.: Что до 2007 года, как раз тогда, по — моему, был популярен запрет индексации ссылок через sitemap. Указывалось, что страница важная, но переиндексировать ее не надо. Тогда много площадок с Sape улетело.
С. Ц.: Следуем дальше. 2008 год. АГС. Что это означает? Был сайт с хорошим, да пусть даже с не очень хорошим контентом, включавший множество страниц. И «Яндекс» издал указ, по которому все такие сайты автоматически понижались в рейтинге. Не очень правильное решение. Если раньше у сайта было в индексе около 1000 страниц, то осталось 10 – 15. Но ссылки, которые ранее были куплены на тех тысячах страниц, остались. Ведь оптимизаторы не имеют возможности проверять каждую ссылку ежедневно. Ссылка остается висеть, страницы в индексе «Яндекса» нет, но работает ссылка или нет, большой вопрос.
А. Ж.: У меня сайт одним из первых попал под АГС, причем не под тот, что до десяти страниц индекс сайта сворачивал, а под другой, который был намного раньше включен. Страницы на том ресурсе были следующими: одна большая фотография, несколько маленьких да одна подпись. Плюс ссылки на другие страницы с фотографиями. Никакого контента. Картинки в индексе были, картиночный трафик был, а сами страницы – удалены из индекса. Причем у сайта оставалось на тот момент около 300 – 400 страниц в индексе. Потом, когда АГС включили, их количество еще подсократилось, хотя реально на сайте было около 2000 страниц. И с них внутренние ссылки работали, перелинковка работала. С НПС и внешними тоже порядок был.
Слегка отойду от заданной темы: сейчас у «Яндекса» с индексом тоже проблемы, когда под новую дату кэша выставляется старая страница, причем может быть выведена несуществующая, которой нет добрых полгода. Несмотря на обилие дата — центров в «Яндексе», все равно база грязная и не так часто обновляется, как хотелось бы. Хотя, насколько я понимаю, они хранят вообще всю информацию по сайту, которая когда — либо появлялась.
С. Ц.: Вернемся в 2008 год. Тогда Константин Каширин сделал сервис проверки на непот. Это была золотая жила – якобы проверка работоспособности ссылок с донора посредством языка запросов. Чтобы понять, участвует ли в поиске данная страница по тому или иному анкору с некоего донора, может ли она попасть в поиск.
Потом отключили операторы #link и ancor. Это был болезненный удар по оптимизаторам. Да что там – одна из ядерных бомб на SEO. Дальше операторы начали отключать один за другим. Были какие — то недокументированные. Порой до сих пор оператор существует, но показывает белиберду. Одно время в BDBD хотели запустить биржу Indexoid. Они фиксировали дату индексации ссылки с помощью языка запросов «Яндекса». Завязались на один запрос. Но это их не спасло.
Ссылочные базы бирж все приохотились парсить, стали свои белые списки формировать. Но эта волна быстро спала.