яндекс бот не загружает страницы

[leha706]

Так же беда на open carte, домену и сайту месяц. Включила ЧПУ, прописала robots.txt - за месяц только главная страница проиндексировалась. Гугл моментом все проглатывает. Остальные исключены в robots.txt Как добиться чтоб яндекс страницы с ЧПУ подхватил? Если через addurl прогнать поможет?
robots.txt вот такой для яндекса

Спойлер

User-agent: Yandex
Allow: /
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

Host: site.org

С моим последним добавленным в Вебмастере сайтом такая-же картина- где-то через месяц проиндексирована одна страница. За этот месяц было два или три обновления базы Яндекса, это вроде даже нормально. Если 4-5 и более обновлений прошло, а сайт не индексируется вообще- нужно искать причины. Если товаров много через addurl прогнать будет долго. Быстрее сделать карту сайта и скормить поисковикам. Если карта сайта уже есть, то addurl уже не нужен.

 

[alisha59]

В общем так получилось:
Сайт скормлен яндексу 18/04, зарегестрирован в вебмастере, настроены ЧПУ и редирект 301 на без WWW
До 11/05 в вебмастере информация - "Робот начал посещать сайт. Страницы должны появиться в поиске через 1-2 обновления поисковой базы."
11/05 - в ВМ указала главное зеркало без WWW, закинула еще раз главную страничку в addurl, добавила в robots Allow: / - не знаю, нужно или нет было?
13/05 - в ВМ появилась главная страница и список исключенных в robots
И сегодня утром наконец - ЧУДО!!! Все странички в индексе, за исключением закрытых в robots и неканонических.
А файл sitemap все еще в статусе обработки.
Вывод - яндекс тормоз жуткий, иногда просто подождать нужно.

 

[rezvey]

В общем так получилось:
Сайт скормлен яндексу 18/04, зарегестрирован в вебмастере, настроены ЧПУ и редирект 301 на без WWW
До 11/05 в вебмастере информация - "Робот начал посещать сайт. Страницы должны появиться в поиске через 1-2 обновления поисковой базы."
11/05 - в ВМ указала главное зеркало без WWW, закинула еще раз главную страничку в addurl, добавила в robots Allow: / - не знаю, нужно или нет было?
13/05 - в ВМ появилась главная страница и список исключенных в robots
И сегодня утром наконец - ЧУДО!!! Все странички в индексе, за исключением закрытых в robots и неканонических.
А файл sitemap все еще в статусе обработки.
Вывод - яндекс тормоз жуткий, иногда просто подождать нужно.

А у меня чего-то не получается( уже чем только не гонял, не хочет в яшу лезть(

 

[dmitrov73]

новые страницы больше месяца в индекс не добавляет яндекс на на новых сайтах и если не было долго изменений

 

[dmitrov73]

по моему все таки от частоты обновления сайта зависит

 

[White_S]

по моему все таки от частоты обновления сайта зависит

От частоты обновлений + ценности (уникальности) контента.

 

[b7186]

+ ценности (уникальности) контента.

В чем измеряется ценность контента не подскажите?

 

[White_S]

Во-первых уникальность - но уникальность уникальности рознь набор слов может быть тоже уникальным но не нести ни капли ценности.
Во-вторых как минимум отсутствие орфографических и синтаксических ошибок - вероятность того, что текст писаный двоечником не несет культурной ценности довольно высока.
Ну и еще можно судить о ценности контента по естественным ссылкам, ПФ. В чем измеряется ценность? -это условно, вроде как единицы измерения не придумали еще. А по-вашему что, нет понятия ценности контента? т.е. любой гамнявый копипаст ни чем не хуже уникального полезного контента?

 

[b7186]

Для разных пользователей один и тот же контент может иметь разную ценность, поэтому в целом о ценности говорить не приходится, единственное о чем можно рассуждать - это качество контента.

 

[mascap]

Когда то разбирался в работе пауков - в их работе есть ограничение по времени на ползанье по сайту. Т.е. на одном сайте он может облазать 1000 страниц за это время, а на другом 1-2. И зависеть это будет от качества интернета, пингов, скорости и прочих технических нюансов. Частота, с которой он возвращается на ваш сайт прямо пропорционально количеству встречающихся ему ссылок на ваш проект на других сайтах.
Логичный вывод:
Лично я ВСЕГДА минимум карту сайта постил в сервисах закладок. Например 10 аккаунтов по 50-100 сервисов даст 500-1000 попыток паука проиндексировать мой сайт. Проблем с индексацией сайтов еще не знал(справедливости ради добавлю, что сайты пачками не клепаю).