Обход защиты против парсинга гугла

[Trilenium]

Когда паршу гугл через парсеры, выбивает во фрейме "... but your computer or network may be sending automated queries. To protect our users, we can't process your request right now"
Меняю прокси - тоже самое. Ставлю таймаут в 11 сек. - безрезультатно.
Как обойти это дело?

 

[LEE_ROY]

соксы/прокси

 

[Dodgy]

Когда паршу гугл через парсеры, выбивает во фрейме "... but your computer or network may be sending automated queries. To protect our users, we can't process your request right now"
Меняю прокси - тоже самое. Ставлю таймаут в 11 сек. - безрезультатно.
Как обойти это дело?

запросы inurl и подобные сейчас жестко баняться

 

[Trilenium]

соксы/прокси

Есть прога для конекта через сокс\прокси или это через браузер делать? Я в этих делах не шарю...

 

[Dodgy]

Есть прога для конекта через сокс\прокси или это через браузер делать? Я в этих делах не шарю...

Во первых чем парсишь?
В основном подставляется урл с проксями/соксами
Во вторых разжевывать и в рот ложить тебе никто не будет

 

[farm]

не юзать операторы при парсинге, правильно настроить фильтр на отсев шлака.

 

[Trilenium]

Во первых чем парсишь?
В основном подставляется урл с проксями/соксами
Во вторых разжевывать и в рот ложить тебе никто не будет

Паршу парсером Байрона (фришным)
Остальное понятно...

 

[sydoow]

Парсить скриптами с поддержкой прокси и антикапчи.

 

[smiler]

Соглашусь с предыдущими ораторами:
1. Парсить желательно с проксями, с антикапчей.
2. Могу посоветовать для парсинга (как альтернативу) бесплатный Agress Parser и платный AllSubmitter.
3. Необходимо избавиться от запросов, содержащих оператор "inurl" - Гугля такие запросы банит сразу.
Необходимо лишь чуть-чуть открыть глаза и собрать интересующие признаки для сбора базы. Например, для сбора блогов WP можно использовать связку названий полей для оставления камента и т.п. Кажды двиг имеет отличительные особенностями, которые осталось только собрать и попарсить Гуглю.
Кстати, Яху позволяет себя парсить в прежних объемах. Не Гуглем единым, как говорится

 

[Lazy_bones]

У меня такая же проблема, но парсингом на этом ip не занимаюсь.
Как вариант объяснения в моем случае публичный ip и кто то парсит помимо меня.
Как вариант помогает смена google.com на google.ru а то почти всегда вместо поиска строка о проблеме. Также почему то помогает банально просто вначале открыть сам сайт, а не передавать запрос сразу к примеру из панели поиска в браузере.