Скрипт проверки PR

[Zahar]

Вот и закончил скрипт работу, была прогнана база на 300MB, линков сколько что то провтыкал посмотреть, да и не нужно мне это, справился скрипт с работой за 3 с хреном суток (помаленьку ну нет решения лутше пока), а на счет того чтоб дубли так вот такой командой под юниксами - sort -u -o output_file input_file , а на ПР этим скриптом, вот и все!

 

[Mamadu]

To Vlam : Респект за скриптик, новой версии не предвидится? Хотелось бы потоков для скорости

 

[zaqwsx_]

а не подскажите, чего не хватает:
Can't locate WWW/Google/PageRank.pm in @INC (@INC contains: /usr/lib/perl5/site_perl/5.8.6/i386-linux-thread-multi /usr/lib/perl5/site_perl/5.8.5/i386-linux-thread-multi /usr/lib/perl5/site_perl/5.8.4/i386-linux-thread-multi /usr/lib/perl5/site_perl/5.8.3/i386-linux-thread-multi /usr/lib/perl5/site_perl/5.8.6 /usr/lib/perl5/site_perl/5.8.5 /usr/lib/perl5/site_perl/5.8.4 /usr/lib/perl5/site_perl/5.8.3 /usr/lib/perl5/site_perl /usr/lib/perl5/vendor_perl/5.8.6/i386-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.5/i386-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.4/i386-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.3/i386-linux-thread-multi /usr/lib/perl5/vendor_perl/5.8.6 /usr/lib/perl5/vendor_perl/5.8.5 /usr/lib/perl5/vendor_perl/5.8.4 /usr/lib/perl5/vendor_perl/5.8.3 /usr/lib/perl5/vendor_perl /usr/lib/perl5/5.8.6/i386-linux-thread-multi /usr/lib/perl5/5.8.6 .) at ./pr.pl line 3.
BEGIN failed--compilation aborted at ./pr.pl line 3.

где взять PageRank.pm ?

Добавлено через 6 минут
а, разобрался уже, спасибо

 

[grut]

Ну и как успехи?
Требуется скрипт для удаления дублей и сортировки по PR базок в 15-20kk. Кто что посоветует?

Очень рекомендую скрипт Base Editor:
(пароль тот же)

 

[Ligos]

BaseEditor - это жоржа сороса с кликфорума? Дезендели что-ли?

 

[grut]

BaseEditor - это жоржа сороса с кликфорума? Дезендели что-ли?

Ты конструктивное пиши, не то забанят.
А чтоб не задавал таких глупых вопросов, скачай и запусти. Там на главной странице подпись и аська разработчика.

 

[Mamadu]

Очень рекомендую скрипт Base Editor:
(пароль тот же)

Его выкладывали уже тут и не 1 раз. Для просмотра ссылки Войди или Зарегистрируйся
Сортировки по ПР нет.
Пока самый шустрый скрипт получения ПР базы - перловый выше постами. Перепробовал много, но базу в 1кк и больше "взял" только он. Десктопные Хрефер и другие - нервно курят.

 

[grut]

Его выкладывали уже тут и не 1 раз. Для просмотра ссылки Войди или Зарегистрируйся
Сортировки по ПР нет.
Пока самый шустрый скрипт получения ПР базы - перловый выше постами. Перепробовал много, но базу в 1кк и больше "взял" только он. Десктопные Хрефер и другие - нервно курят.

Просил скрипт для удаления дублей - вот я его и выложил. Прекраснейший ведь скрипт для локалхоста

А ПР я проверяю встроенным в Хрефер модулем. Вот сейчас он чекает в среднем 17 links/s на 30 потоках. Учитывая, что база в 600К, чекать будет 9 часов. Долго мля.

 

[zaqwsx_]

он иногда никакие цифры не пишет, а при этом гостевая жива

Добавлено через 1 минуту
а baseeditor большие базы на обрабатывает, максимум вроде 30, или 40 метров. Фуфло короче.

 

[Zahar]

Вот переделаная версия скрипта перловского, раскладывает каждый ПР в свой файл, те что ПР неопределен в треш файл, переделал не я а швагро мой, так что ему все спасибо!!!

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.