[Ищу] Скрипт парсинга/проверки прокси

Тема в разделе "SEO Скрипты", создана пользователем Kanjo, 31 авг 2016.

  1. Kanjo

    Kanjo Постоялец

    Регистр.:
    24 мар 2016
    Сообщения:
    73
    Симпатии:
    10
    Всем доброго времени суток. Ищу скрипт для парсинга и проверки прокси по крону на работоспособность и анонимность (сортировка). Что-то из серии вот этого: http://proxy.gegechkori.ru/

    Парсить планирую с гугла по запросам из серии:
    • proxy +list
    • proxy +txt
    • proxy +free
    и т.д.
     
  2. Nei

    Nei Nosce te ipsum

    Регистр.:
    5 сен 2009
    Сообщения:
    670
    Симпатии:
    522
    Как раз думал что-то подобное для личных нужд наваять (только как по мне удобней не гугл парсить а напрямую несколько сайтов, предоставляющих списки бесплатных прокси), можем скооперироваться. Если интересно - пишите.
     
  3. Kanjo

    Kanjo Постоялец

    Регистр.:
    24 мар 2016
    Сообщения:
    73
    Симпатии:
    10
    Интересно, очень интересно. Но к сожалению, я далек от программирования (((

    Бывает так, что нужно срочно пару-тройку проксей, для того же самого рутрекера/лостфильма и т.д. Ставить надстройки на браузер или качать софт не всегда удобно, особенно, когда это не твой личный комп. Поэтому начал искать готовое серверное решение. Но как-то безуспешно. Вот и решил спросить, может быть кто-то уже нашел или написал и готов поделиться. Наворотов мне не надо. Только самое основное: адрес+порт, страна, время отклика, тип анонимности. Ну и т.к. это будет все работать по крону - время проверки и возможность ручного запуска проверки/парсинга

    Почему парсить с гугла ? Т.к. у гугл выдача динамическая и постоянно меняется, так будет проще искать новые прокся и есть подстраховка от того, что сайт, с которого будут парситься прокси для проверки может быть недоступен. У меня уже есть список, откуда дергать прокси, надо его актуализировать. Так же, для того, чтобы гугл не выдавал постоянно каптчу, можно под каждый запрос попробовать использовать рандомный юзер агент. Список так же могу подготовить.
     
  4. Nei

    Nei Nosce te ipsum

    Регистр.:
    5 сен 2009
    Сообщения:
    670
    Симпатии:
    522
    По-моему вам просто вот таких сервисов должно хватить:

    Это если просто периодически возникает необходимость в прокси.

    А для себя я хотел сделать автоматическое решение для постоянной работы так сказать. Т.е. бесплатные прокси меняются - появляются новые, умирают старые, поэтому удобно не самому каждый раз их менять/проверять а просто подключить скрипт, который будет это делать и на выходе стабильно работающая система на бесплатных прокси и не требующая ручных действий.
     
  5. Kanjo

    Kanjo Постоялец

    Регистр.:
    24 мар 2016
    Сообщения:
    73
    Симпатии:
    10
    Постоянно с проксями на работаю, это точно. Но пару раз в неделю мне они нужны как правило. Бесплатными сервисами пользовался, но в 99% случаев проски не соответствуют заявленной скорости и анонимности. Поэтому хотелось бы что-то свое универсальное... Пока универсального не нашел, приходится использовать софтом
     
  6. Nei

    Nei Nosce te ipsum

    Регистр.:
    5 сен 2009
    Сообщения:
    670
    Симпатии:
    522
    Это ж бесплатные прокси)) Какая скорость? Какая анонимность? :) Как-то работают - уже хорошо.
     
  7. Kanjo

    Kanjo Постоялец

    Регистр.:
    24 мар 2016
    Сообщения:
    73
    Симпатии:
    10
    Ну так я же тоже парсю бесплатные прокси и проверяю. Там и скорость и анонимность присутствует. Вот именно поэтому и пришел к выводу, что нужен свой скриптик, который мог бы автоматизировать сбор и проверку. Чтобы всегда был в загашнике десяток другой живых проксей.

    P.S. Занимаюсь поддержкой одного сайта. Иногда просят снять позиции. Использую для этих нужд онлайн сервисы, но там стоят ограничения по кол-ву запросов с одного айпи. Тут на помощь приходят прокси :crazy:
     
  8. Бронислав

    Бронислав Создатель

    Регистр.:
    27 фев 2014
    Сообщения:
    2
    Симпатии:
    0
    Это ж бесплатные прокси)) Какая скорость? Какая анонимность? :) Как-то работают - уже хорошо.
    Верно !
     
  9. lol100

    lol100 Постоялец

    Регистр.:
    9 авг 2008
    Сообщения:
    110
    Симпатии:
    47
    Вот самый оптимал, можешь первый вариант доработать и ли сразу же 2й взять

     
  10. Stine

    Stine Писатель

    Регистр.:
    16 авг 2007
    Сообщения:
    4
    Симпатии:
    3
    Кто нибудь встречал скрипты прокси чекера способные выдавать страны прокси? Нужно что бы я дал ему файл с прокси, и по ссылке мог получать список прокси с нужной мне страной...