• Web-технологии

    Новая директива Clean-param файла robots.txt для Яндекса – решение проблем индексации сайта со множеством параметров

    Если в адресах документов вашего сайта встречаются параметры, которые не влияют на содержимое документов, а используются для указания идентификаторов сессии пользователей, вариантов сортировки данных в таблицах, сайтов-рефереров и т.п., то их наличие всегда вызывало ряд проблем с индексированием сайтов, включая такие как, дублирование контента, повышенную нагрузку на веб-сервер в момент обхода поисковым роботом документов сайта и т.п. Все это заставляло SEO-оптимизаторов избегать использования таких параметров или запрещать поисковикам индексирования документов с такими "избыточными" адресами.

    В январе 2009 года для решения этой проблемы Яндекс ввел поддержку новой директивы файла robots.txt. Эта директива называется Clean-param. Она позволяет явно указать какие параметры, и в каких документах являются "избыточными" для целей индексирования сайта.

    К примеру, на сайте в каталоге товаров в одном из вариантов в адресах документов возникает параметр sortby, задающий специфику сортировки данных на страницах:

    www.site.ru/catalog/products.php?page=123&sortby=price

    Указать Яндексу на избыточность этого параметра можно следующей строкой файла robots.txt:

    User-agent: Yandex

    Disallow:

    Clean-param: sortby /catalog/products.php

    Таким образом при обходе страниц Яндекс будет игнорировать документы, содержащие параметр sortby для документов /catalog/products.php.

    Общий синтаксис команды:

    Clean-param: p0[&p1&p2&..&pn] [path]

    При указании пути есть возможность использовать регулярные выражения.

    Подробное описание директивы смотрите на Яндексе по адресу http://help.yandex.ru/webmaster/?id=996567#1041216.

    Опубликовано: Категория: Web-технологииКомментарии: 0

    Комментарии

    Пока нет комментариев.

    Оставьте свой комментарий

    Ваше имя: Email: Оставьте свой email, если хотите получать уведомления о комментариях на этой странице. Ваш email не будет опубликован на сайте.