Похоже у Яши уже окончательно едет крыша

[Slavikus]

Один из моих сатов в зоне org.ua долго (около 2 недель) не хотел лезть в индекс Яхи, остальные за 3-5 дней влезли, но это риторика.
Нынче проиндексированы даже те страницы которые ЗАПРЕЩЕНЫ в движке и роботс.тхт причем висят благополучно уже 2-ю неделю)))
Ну не ппц?) Кстати принт страницы запрещены как двигом так и роботсом, и тем не менее они в индексе)
Вот такой вот роботс, двиг DLE

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

User-agent: Yandex
Host: *********.org.ua

У кого то наблюдается еще подобное?
Кто в курсе, чем это обьяснить?

 

[o_nix]

Давно всем говорю поисковикам и особенно яндексу давным давно начхать на всякие роботсы - произошедшее всеголиш ещё одно подтверждение этому.
Тоже самое с нофоловв и ноиндекс - они давным давно стали весьма условными, тоже самое уже и с редиректами (есть такое ощущение ).
Поисковики индексируют абсолютно всё, просто потом скрывают это.

 

[Slavikus]

Поисковики индексируют абсолютно всё, просто потом скрывают это.

Тут даже не скрывают
Вот когда НАДО то или иное проиндексировать, так фиг там)
Зато когда нафик не надо, вот тебе на, получи индексацию))
Это не Яндекс, это западлист какой то)))

 

[danneo]

наверно, отработка новых правил, т.к. частенько стал косяки находить, то в выдаче, то в индексе, то в параметрах сайтов

 

[anton88]

robots - всего-лишь рекомендации для ботов, а не правило.

 

[GlazALmaz]

robots - всего-лишь рекомендации для ботов, а не правило.

вообще-то не должно индексировать страницы, запрещенные в роботсе... в данном случае вероятно просто баг какой-то

 

[Dozor2]

Я не специалист в robots.txt, но помойму он не корректно составлен.

Привожу цитату из хелпа яндекса:

В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.

Для просмотра ссылки Войди или Зарегистрируйся

То есть для Яши ты указал только хост и ничего к индексации не запретил.

 

[Slavikus]

Я не специалист в robots.txt, но помойму он не корректно составлен.
Привожу цитату из хелпа яндекса:
Для просмотра ссылки Войди или Зарегистрируйся
То есть для Яши ты указал только хост и ничего к индексации не запретил.

Я для всех роботов запретил индексацию) а яшу только ткнул носом в хост, или то что для всех других роботов правило для яши не правило и для него отдельно надо все дублировать получается?) раньше вроде так делал и все нормально было, пошел переделаю, потестим)

 

[ManCuniAn]

Да роботс неправильно составил.....гуглу ты запретил индексировать и а яше нет..

удали строчку
User-agent: Yandex

 

[Dozor2]

Я для всех роботов запретил индексацию) а яшу только ткнул носом в хост, или то что для всех других роботов правило для яши не правило и для него отдельно надо все дублировать?)

Я от нефиг делать тебе цитату из правил яндекса приводил чтоли? Еще и выделил где обратить внимание, и даже ссылку на оригинал дал.