Help me! Научите гугл парсить.

[dsdawer]

приплыли у меня тоже больше 100 результатов с запроса не отдает шас буду что нибуть придумывать

 

[Dador]

Смотря какой запрос, с очень известным запросом на гостевые книги он всегда даёт только 100, дальше не даёт
а по менее известным, норм. 1000

 

[dsdawer]

Спасибо всем. Я наконец сам нашел в чем дело.

отпиши в личку плз. а лучше напиши тут что бы тебя все не дергали

 

[hristofor]

Спасибо всем. Я наконец сам нашел в чем дело.

Тоже столкнулся с этой проблемой.

 

[[btr]]

разобрался тоже, вобщем на примере агресс парсера выставил: время между запросами:50
тайм аут:60
запрос: inurl:"board.htm"
на данный момент вытянул 1351 адрес, и продолжает тянуть.

 

[exslim]

Можно парсить сколько хочеш и без прокси. Делал я так:
Парсер работал на Mono под линуксом, но контент страницы выкачивал wget`om. При просьбе гугла ввести каптчу, вводил на клиентской машине, забирал cookies и добавлял их в параметрах wget`a. Больше гугл меня не тревожил)

 

[HolyWanderer]

разобрался тоже, вобщем на примере агресс парсера выставил: время между запросами:50
тайм аут:60
запрос: inurl:"board.htm"
на данный момент вытянул 1351 адрес, и продолжает тянуть.

а я поставил время между запросами:6
тайм аут:5
куча запросов, и уже гдето 24к адресов напарсило(ето дет 1/4 всех запросов пропарсило)
----
Вопрос: от чего у меня итак все работает, а кого-то вообще банит? Парсит Агрессер у меня вот целый день, но когда я иду в Гугл, то пишет:
Помилка
На жаль
... ваш запит схожий на автоматизований запит від комп’ютерного вірусу або шпигунського програмного забезпечення.
и надо ввести символы с каптчи. Я ввожу и потом все работает. Ето от запросов зависит или от чего?

 

[_king]

Вопрос: от чего у меня итак все работает, а кого-то вообще банит? Парсит Агрессер у меня вот целый день, но когда я иду в Гугл, то пишет:
Помилка
На жаль
... ваш запит схожий на автоматизований запит від комп’ютерного вірусу або шпигунського програмного забезпечення.
и надо ввести символы с каптчи. Я ввожу и потом все работает. Ето от запросов зависит или от чего?

непонял, агрес тянет, а через браузер выдает бан?
может с разных апишников агрес и ты?
по идее если тебя гугл не пускает, то агресса тем более

 

[[btr]]

HolyWanderer , странно, я поставил твои настройки, включил парсер, и через пол часа ни парсер ни браузерне смогли нормально с гуглей сконектится, только капча......