Как, чем можно массово проверить robots.txt на запрет индексации.

[vladis1333]

Подскажите как, чем (софт,сервис) можно проверить у пару тысяч сайтов robots.txt на наличие там определенной строчки (закрытость к индексации профилей)?
Поиск результатов не дал.

 

[StrikeOFF]

Content dowloader-у(может и другим парсером, я этим пользуюсь) скармливаешь список ссылкок. В шаблоне вывода ставишь все в одну строку + название сайта оставляешь. На выходе получаешь тхт файл. Дальше используешь поиск по файлу. Или можно регуляркой оставить то что удовлетворяет параметры.

 

[IamDevil]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Красавчег]

vladis1333, если ничего путного не найдешь, отпиши в личку - где-то валялась софтина. может найду.

 

[22Striker22]

Хрумером можно (анализатором баз)

 

[vladis1333]

Хрумером можно (анализатором баз)

в 5-ке нуленной можно?

 

[22Striker22]

в 5-ке нуленной можно?

Без понятия, у меня лицензия.
Теоретически можно. Там есть анализатор баз, дописываешь к ссылкам в базе url/robots.txt и ищешь по телу страницы нужное вхождение.

 

[TIIIMOXAN]

в 5-ке нуленной можно?

100% можно

 

[Sergo_Sev]

Вот наткнулся на

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[qazibum]

Я где-то на форуме видел запросы писали под гугл для поиска по robotx.txt на предмет запрета индексации сайтов или отдельных разделов, а сейчас найти не могу. Дайте линк на тему или что-то такое, если кто знает.