Закрыть от индекса Urlы offset_

[BestFish]

Доброго времени суток, столкнулся с дублями страниц типа: сайт\категория\offset_20, цифра в конце меняется, бывает 20, 40, 40, и тд... Подскажите как закрыть от индекса страницы с offset_Х?
В роботс тхт Disallow: */offset_* добавлено.

 

[Denzy]

Disallow: *_offset_*
Disallow: *_show_all*

 

[aroman80]

и добавить,
если для всех поисковых
User-agent: *
если для конкретных
User-agent: Yandex

 

[zabolots]

Звездочка в конце не нужна – по умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол * (см. доки Яндекса). Для просмотра ссылки Войди или Зарегистрируйся про Clean-param – это похоже то, что вам нужно в данном случае.