Если в адресах документов вашего сайта встречаются параметры, которые не влияют на содержимое документов, а используются для указания идентификаторов сессии пользователей, вариантов сортировки данных в таблицах, сайтов-рефереров и т.п., то их наличие всегда вызывало ряд проблем с индексированием сайтов, включая такие как, дублирование контента, повышенную нагрузку на веб-сервер в момент обхода поисковым роботом документов сайта и т.п. Все это заставляло SEO-оптимизаторов избегать использования таких параметров или запрещать поисковикам индексирования документов с такими "избыточными" адресами.
В январе 2009 года для решения этой проблемы Яндекс ввел поддержку новой директивы файла robots.txt. Эта директива называется Clean-param. Она позволяет явно указать какие параметры, и в каких документах являются "избыточными" для целей индексирования сайта.
К примеру, на сайте в каталоге товаров в одном из вариантов в адресах документов возникает параметр sortby, задающий специфику сортировки данных на страницах:
www.site.ru/catalog/products.php?page=123&sortby=price
Указать Яндексу на избыточность этого параметра можно следующей строкой файла robots.txt:
User-agent: Yandex
Disallow:
Clean-param: sortby /catalog/products.php
Таким образом при обходе страниц Яндекс будет игнорировать документы, содержащие параметр sortby для документов /catalog/products.php.
Общий синтаксис команды:
Clean-param: p0[&p1&p2&..&pn] [path]
При указании пути есть возможность использовать регулярные выражения.
Подробное описание директивы смотрите на Яндексе по адресу http://help.yandex.ru/webmaster/?id=996567#1041216.