Help me! Научите гугл парсить.

[icemen7]

Пытаюсь научиться собирать базы для спама. Перечитал наверно уже все доки что в паблике есть. В доках пишут - все просто: вводим inurl:ля-ля получаем 1к адресов. Комбинируем с site:.com и т.д. получаем много-к адресов. Но на практике у меня получается что на запрос inurl:ля-ля гугл дает не больше 100 результатов и причем использование проксиков также ничего не дает.
Как с этим бороться? Или может быть проблема в качестве используемых прокси.

 

[dnd]

Но на практике у меня получается что на запрос inurl:ля-ля гугл дает не больше 100 результатов и причем использование проксиков также ничего не дает.

это значит что твоему запросу соответствуют очень мало сайтов - что тут непонятного? попробуй например запрос inurl:guestbook.html и посмотри на результат)). прокси здесь роли не играют

 

[myid37]

dnd а ты сам то пробывал?
У гугла стоит ограничение, больше чем 100 урл не даёт.

 

[Pir4tt]

а перейти на вторую страницу и получить ещё 100 результатов религиозные убеждения не позволяют?

п.с. в расширенном поиске - "выводить сто резалтов", гугл позволяет посмотреть в этом случае 10 страниц
100*10=1000

неужели так сложно потыкать по надписям..

 

[Accountboy]

А еще сравнение этих двух запросов может натолкнуть на мысли
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
Ну и количество результатов на страницу поставить 100 - выучи команды запросов гуглу - тут на форме есть - серчай.

 

[icemen7]

Может это какая-то мистика, может гугл меня не любит, может достал я его уже, а может это у вас сведения устарели, но у меня при переходе на вторую страницу появляется -

We're sorry...

... but your query looks similar to automated requests from a computer virus or spyware application. To protect our users, we can't process your request right now.

We'll restore your access as quickly as possible, so try again soon. In the meantime, if you suspect that your computer or network has been infected, you might want to run a virus checker or spyware remover to make sure that your systems are free of viruses and other spurious software.

We apologize for the inconvenience, and hope we'll see you again on Google.

 

[icemen7]

Спасибо всем. Я наконец сам нашел в чем дело.

 

[Alekzweb]

icemen7, объясни в чем дело было. Такая же проблема.(((

 

[benya]

а вообще важно ли для каждого поисковика иметь свой парсер или это не имеет значения? извините, если глупый вопрос. и еще прокси нужно постоянно самому вносить или это как-то автоматизировано. у меня во всём этом вообще нулевой опыт.

 

[icemen7]

Alekzweb, отправил в личку.