Как проверить много страниц в Я

А не проще вбить в поисковик site:имядомена и увидеть все страницы в поиске!? Этот же способ работает и для Гугл и для Яндекс.
 
А не проще вбить в поисковик site:имядомена и увидеть все страницы в поиске!? Этот же способ работает и для Гугл и для Яндекс.
Поисковики показыыают базово, не больше 1000, а если сайт 100к страниц к примеру, тогда как? И потом, к примеру добавил 100 страниц новых, прошёл апдейт - как проверить попали они в индекс или нет. Вот о чём и речь, чтобы проверять индексацию конкретных страниц.
 
можете воспользоваться сервисом Rookee
 
интересно, а как монстры типа sape и подобных проверяют индексацию сайтов? Им ведь миллионы страниц в сутки проверять нужно - тут никакие прокси не помогут) Если приватные скрипты их прогеры пишут - так все равно их IP бы банили за огромное количество запросов, но сервисы стабильно работают, интересно как?
Мне кажется лимит их сайта в Яндекс xml очень большой. И с помощью него они и парсят миллионы запросов. Если не хватает, их всегда можно купить на бирже)
 
Назад
Сверху