Помогите определить ликвидность прокси

[e64f]

Как можно быстро проверить ликвидность большого списка прокси серверов?
Дано:
1) Список около 10 000 серверов прокси.
2) Программа на php которая проверяет большой список доменов в одной буржуйской пузомерке. Чтобы не забанили проверку нужно делать через прокси, и не слишком часто через одну и ту же прокси.
Занимаюсь, работой через прокси в первый раз, так что прошу поправлять меня если ошибаюсь в методологии.
Как делаю:
Прокси и домены лежат в двух таблицах. Беру по записи из каждой таблицы. Пытаюсь получить страницу (для грабинга значения пузомерки) если определенного шаблона (фрагмента) страницы нет то считаю проксю неликвидной и удаляю из таблицы. Если все ок, маркирую домен, чтобы в следующий раз его не брать повторно для проверки, маркирую проксю чтобы пользоваться ею на следующем цикле, когда пройду по циклу все прокси (и каждая из них или удалится или останется). Список проксей обновляется раз в полчаса в источнике, могу себе обновлять. Вообще по настройкам каждой рабочей проксей предполагаю воспользоваться 200 раз.
Проблемы:
1) Список проксей большой и не все прокси рабочие, речь идет о работе прокси как таковой так и бан прокси ресурсом куда я пытаюсь обратиться.
2) Из 10 000 проксей рабочие всего 10%
3) Процесс повешан на крон, в минуту обрабатываю по 5 записей, а в связи с тем что много неактуальных проксей, происходит холостой ход программы, в курлах на загрузку страницы отвожу 30 секунд.
Вопрос: Можно ли быстро прочекать большой список проксей на ликвидность?

 

[D@nil]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[e64f]

2 D@nil

Спасибо конечно, но это не то что мне нужно.

Вообще нужна методика, а не сам код.

1) Как проверить работоспособность прокси.
2) Как прокси проверить на бан определенным серваком.
ЗЫ. Важна скорость.

 

[D@nil]

1) Как проверить работоспособность прокси.

функцию проверки можешь как раз оттуда скопировать.

2) Как прокси проверить на бан определенным серваком.

Смотря где эти прокси банят?

 

[splinter]

Имхо ты вполне логично решил задачу в лоб. Так как ты делаешь ты одним запросом убиваешь несколько зайцев и это хорошо. Ничего здоровского не будет если ты будешь отдельно их чекать. Что касается скорости работы то наверно пора тебе вырастать и юзать мульти функции курла, они для этого и придуманы чтобы пока один поток ждёт ответа другие продолжали работу.

 

[D@nil]

Чекать можно и 1м запросом, если качать страницу которую в последствии будем парсить.

Что касается скорости работы то наверно пора тебе вырастать и юзать мульти функции курла

А ты я смотрю шутник, посмотри ради интереса мои скрипты)

 

[splinter]

Чекать можно и 1м запросом, если качать страницу которую в последствии будем парсить.

Именно так ТС и делает.

А ты я смотрю шутник, посмотри ради интереса мои скрипты)

Я к ТС обращаюсь. При чём тут твои скрипты?

 

[D@nil]

2splinter
проглядел сообщение.