Пинг яше+гуглу и скан ботсетью

[borodatych]

Здравствуйте.

Не знал куда писать, и раз поселился здесь, решил испытать счастье сперва на данном форуме.

Несколько дней, а может почти с неделю скормил ребятам через их пинг сервисы по 10млн записей.
Сегодня обнаружили, что клиенты жалуются на скорость работы софта, что обращается к нашему серверу.

Проблему найти самостоятельно не смог, помог старший админ 80-го левела.
Было обнаружено, что забита временная директория (100Мб) файлами от сессий.

Далее уже в логах обнаружил обращение к тем страницам, что скормили яше и гуглу.
Но обращение шло (проверил 5 адресов) с китайских IP.

На текущий момент 1395 уникальных IP (кому интересно прикрепил файлик).

Собственно вопрос/ы:
От куда китайский ботнет смог узнать о страницах, что нет еще в поиске?
Может это яшин или гугла ботнет, ведь надо же 10млн оббработать, и это только моих?
Может у кого то из них поломали сервак, что собирает пинги?

UPD: По файлу, с лева это колонка, сколько раз было обращение с этого IP.

 

[Горбушка]

Запросы явно идут с групп подсетей, т.е. это прокси/vds.
Это примитивный скан. Зачем - без понятия. Скорее всего - сделали дамп сайта для продажи статей с твоего сайта, либо создания дубликата под рекламу.

Яндекс/гугл сканируют только со своих подсетей, хотя и делают чек с приватных сетей, но никак не всё подряд.

У меня только один вопрос... А зачем пользоваться левыми сервисами?
У Яндекса и Гугла есть родные пинг-сервера... Мы же пытаемся сделать как всегда через задний проход, а потом удивляемся, что что-то пошло не так...

Если у гугла для Вас ограничение (условно) 10 запросов к пинг-серверу в сутки, то, поверь, для Васи Пупкина, когда он твой домен отправит, ограничение будет то же. Смысл?

Сначала версим Васе Пупкину, а потом обнаруживаем слитый сайт на варезнике... А главное все ссылки сами же подарили парсеру.

P.s. сеошник из меня никакой, но чисто логикой всё так...

 

[borodatych]

У меня только один вопрос... А зачем пользоваться левыми сервисами?

Возможно я не так выразился:

Несколько дней, а может почти с неделю скормил ребятам через их пинг сервисы по 10млн записей.

Я использовал именно родные сервера, кроме одного НО (чуть ниже).

По яндексу отправлял так:

$service = 'http://ping.blogs.yandex.ru/RPC2';
$method = "weblogUpdates.ping";

$params = array(
    $name,
    $url
);

$request = xmlrpc_encode_request($method, $params);
$context = stream_context_create(array('http' => array(
    'method' => "POST",
    'header' => "Content-Type: text/xml",
    'content' => $request
)));
$file = file_get_contents($service, false, $context);
$response = xmlrpc_decode($file);
if( $response && xmlrpc_is_fault($response) )
{
    trigger_error("xmlrpc: $response[faultString] ($response[faultCode])");
}
else
{
    echo $response['message']." => $i at \n";
}

НО! Для гугла решил попробовать либу (прикрепил) и такой код:

$pingClient = new IXR_Client('blogsearch.google.com', '/ping/RPC2');
/// Посылаем challange-запрос
if( !$pingClient->query('weblogUpdates.extendedPing', $name, $page, $site) )
{
    echo date("Y.m.d H:i:s"), " => ", $i, " => ",'Ошибка ping-запроса Google [' . $pingClient->getErrorCode().'] '.$pingClient->getErrorMessage(), "\n";
}
else echo date("Y.m.d H:i:s"), " => ", $i, " => ",'Послан ping Google', "\n";

В либе ничего такого не увидел.
Использовал, так как предположил, что будет более информативная в случае ошибки.

 

[Горбушка]

Беглый осмотр библиотеки - ничего критичного в ней нет.
Если использовались родные сервера - утечки тоже быть не должно...

А чем составляли список ссылок?

Пока похоже либо на DDoS, либо на скан всего подряд для клонирования сайта...

 

[borodatych]

Ссылки скриптом создавал, ссылки вида domain.ru/items/ACI+-+AVESA/IT4918901370 .
Как видно, такое сложно отнести ко всему подряд, учитывая, что ссылки ни где не мелькают.
Их вот-вот только пингам скормили.

Есть подозрения на конкурентов, с аналогичной структурой.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Пока писал, пришла такая мысля, просто не откуда больше, если исключить слив от яндекса и гугла, пускай даже через бэкдорчик.