Aura SE Parser 1.1 by Nulled.WS

Очень требовательный к железу скрипт. У меня лицензионная версия. Так на двухгерцовом серваке с гигабайтом памяти стабильно работает только в 70 потоков. Если ставлю 100 потоков и, допустим, 200 запросов для парсинга - быстро залазит в своп и легко ложит сервачок.
 
Beelax написал(а):
Очень требовательный к железу скрипт. У меня лицензионная версия. Так на двухгерцовом серваке с гигабайтом памяти стабильно работает только в 70 потоков. Если ставлю 100 потоков и, допустим, 200 запросов для парсинга - быстро залазит в своп и легко ложит сервачок.
Нажмите для раскрытия...
Ты что то не так настроил. Такой же сервак - около 100к запросов (включая вариации), 150 потоков - еще и свободное место остается. Метров 100-150. А так же висит чекер проксей. С паблик проксями собрал за сутки 3 ляма с гугла.
Версия тоже лицензионная.
 
если кому надо то я модуль переделал для парсания овертюры:
файл /cgi-bin/mod/Aura/Google.pm
поменять строку 19 на:
my $RESULT_TEMPLATE = qq[<a href=];
поменять строку 40 на:
my $result = Aura::HTTPClient::get("http://inventory.overture.com/d/searchinventory/suggestion/?lang=IT&mkt=it&term=$q", $proxy, $timeout, $config);
жырным отмечены настройки овертюры для конкретных страны и языка, можете поменять, я настраивал под Италию.
поменять строку 62 на:
$start = index($reply, "color=#000000>", $idx) + 14;
поменять строку 63 на:
$idx = index($reply, "</a>", $start);
Вот и все.
 
e7x написал(а):
только меня ты УЖЕ кинул как минимум на 2600 баксов. и это менее чем за сутки.

молодчина, Зера, так держать =)

PS/ не болей ;)
Нажмите для раскрытия...

это как он тебя кинул?
ты что реально думаешь что все установившие скрипт побежали бы покупать его не будь нуля?
да скорее они сами парсер напишут)
а вообще правильно, давить этих нубов надо на старте, нех конкуренцию разводить :D :D
 
Код: 
[Sat Apr 14 19:09:38 2007] [error] [client 85.254.151.65] \tmain::BEGIN() called at mod//Aura/Threads.pm line 25, referer: http://www.microsoft.com/ 
[Sat Apr 14 19:09:38 2007] [error] [client 85.254.151.65] \teval {...} called at mod//Aura/Threads.pm line 25, referer: http://www.microsoft.com/ 
[Sat Apr 14 19:09:38 2007] [error] [client 85.254.151.65] Subroutine Aura::Filter::apply redefined at mod//Aura/Filter/Regselect.pm line 25, referer: http://www.microsoft.com/ 
[Sat Apr 14 19:09:38 2007] [error] [client 85.254.151.65] Subroutine apply redefined at mod//Aura/Filter.pm line 99., referer: http://www.microsoft.com/ 
[Sat Apr 14 19:09:39 2007] [error] [client 85.254.151.65] Name "Aura::Filter::RES" used only once: possible typo at mod//Aura/Filter.pm line 51., referer: http://www.microsoft.com/ 
[Sat Apr 14 19:09:44 2007] [error] [client 85.254.151.65] Subroutine main::get redefined at control.pl line 25, referer: http://www.microsoft.com/

:nezn: даж не знаю как это поправить! :(
Все модули поставил, а что уже было то обновил, даже cpan последний поставил.
 
Так и не смог заставить работать данный скрипт на серверах. Перепробовал штук 6 разных хостингов. 500-я постоянно выскакивала. В perl не хватало пары библиотек, добавил на одном самостоятельно, ибо дедик. Запустилось, но парсить не хочет:
PID статус выполнение активность тип
0 стоп 0.00 % 00:00:00 G
Сразу после старта потоки останавливаются... :(
Кто чего сможет посоветовать? Задолбался уже... Админ помочь ничем не смог.
 
Hemi-Sync написал(а):
Так и не смог заставить работать данный скрипт на серверах. Перепробовал штук 6 разных хостингов. 500-я постоянно выскакивала. В perl не хватало пары библиотек, добавил на одном самостоятельно, ибо дедик. Запустилось, но парсить не хочет:
PID статус выполнение активность тип
0 стоп 0.00 % 00:00:00 G
Сразу после старта потоки останавливаются... :(
Кто чего сможет посоветовать? Задолбался уже... Админ помочь ничем не смог.
Нажмите для раскрытия...

Выкинь не мучайся. Не твой это парсер.
Если вы не умеете читать хелпы и не понимаете, хоть малость в языках, думаю не стоит, мучатся.


З.Ы. На твой вопрос тяжело ответить. :)
 
Hemi-Sync написал(а):
Так и не смог заставить работать данный скрипт на серверах. Перепробовал штук 6 разных хостингов. 500-я постоянно выскакивала. В perl не хватало пары библиотек, добавил на одном самостоятельно, ибо дедик. Запустилось, но парсить не хочет:
PID статус выполнение активность тип
0 стоп 0.00 % 00:00:00 G
Сразу после старта потоки останавливаются... :(
Кто чего сможет посоветовать? Задолбался уже... Админ помочь ничем не смог.
Нажмите для раскрытия...

из-за того что крон не дергает theard.pl ... Из-за этого потоки и не работают.
 
Прописал 3 магические строчки
Код: 
use strict;
use CGI::Carp qw(fatalsToBrowser);
print "Content-type: text/htm\n\n”;
И терь вижу след ошибки, но как их пофиксить :nezn: может кто поможет или хотябы пнёт в нужном направлении.
Software error:
Код: 
Global symbol "@gmail" requires explicit package name at control.pl line 4.
Global symbol "@synthetix" requires explicit package name at control.pl line 4.
syntax error at control.pl line 26, near "use lib "mod"
Global symbol "$config" requires explicit package name at control.pl line 26.
Global symbol "$config" requires explicit package name at control.pl line 26.
Execution of control.pl aborted due to compilation errors.
 
Zahar написал(а):
если кому надо то я модуль переделал для парсания овертюры:
файл /cgi-bin/mod/Aura/Google.pm
поменять строку 19 на:
my $RESULT_TEMPLATE = qq[<a href=];
поменять строку 40 на:
my $result = Aura::HTTPClient::get("http://inventory.overture.com/d/searchinventory/suggestion/?lang=IT&mkt=it&term=$q", $proxy, $timeout, $config);
жырным отмечены настройки овертюры для конкретных страны и языка, можете поменять, я настраивал под Италию.
поменять строку 62 на:
$start = index($reply, "color=#000000>", $idx) + 14;
поменять строку 63 на:
$idx = index($reply, "</a>", $start);
Вот и все.
Нажмите для раскрытия...

ещё бы вордтреккер тогда зашибись было бы,а так респект
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху