robots.txt

[Дмитрий Кесаев]

папки с картинками, админку, и всякие календари, факи и тд., вобщем чтоб поисковая система не смогла найти одинаковый контент если инет магазин не самаписный.

И что, что найдет одинаковый контент? Забанит? Да х*й там. Возьми к примеру DLE сайты, все таскают др. у др. контент, но их не банят, т.к. больший процент д/быть своего. По содержимому некоторые схожи практически, тока блоги в разных местах, но текст 1н в 1н.

Вернемся к SS. Тоже самое, что факи, что документация, ну сколько страниц?!!! 5-10 для магазина больше по идее **х не нада. Товар у тебя же другой будет.... И название с адресом магазина тоже свои. Вот этим ты общий контент магазина и разбавляешь. + странички с описанием товара до кучи.

Да и вообще большая редкость ИМХО, что магазины банят. Возьми яндекс-каталог(директ) там море сайтов-магазинов с одинаковым контентом, ни чё живут ФСЕ.

ВотЪ, высказался. Уж больно накипело.

 

[Phoenix_666]

Там реально можно закрыть все папки кроме:
products_pictures
Во всех остальных папках поисковику нечего искать.

Из файлов в корне можно закрыть:
404.html

Добавлено через 3 минуты
И еще в конце не забыть указать линк на файл карты сайта

Пример:

Disallow: /404.html
Disallow: /index.htm_
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

Это важно поисковикам типа гугля.

 

[pehota]

Подскажите, а как склеить для поисковика домен с www и без? Вроде это в robots.txt делается?

 

[NhGXkv85PR]

Подскажите, а как склеить для поисковика домен с www и без? Вроде это в robots.txt делается?

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Источник Для просмотра ссылки Войди или Зарегистрируйся

Для гугля тоже самое делается в его панели вебмастера - ибо гугля не поддерживает директиву HOST
А вообще нечего постить тут вопросы к шоп-скрипту не относящиеся никаким боком.

 

[Opt-real]

Хотелось бы ещё раз поднять тему создания файла robots.txt если магазин работает на SSF и файлы выглядят следующим образом

судя по постам выше закрывать ничего не нужно, а только прописать сайтмап. Сейчас у меня файл robots.txt как мне кажеться неправильный, выглядит вот так:
User-Agent: *
Disallow: /templates/tmpl1/admin/
Disallow: /admin.php
Disallow: /access_admin.php
Allow: /
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

Подскажите как офрмить его правильно под фри версию.

 

[AchiLLeSS]

Подскажите как офрмить его правильно под фри версию.

в панель вебмастера яши не пробовали заглядывать ?
загляните ) а потому думаю поймете что оставить а что скрыть от идексации

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Добавлено через 8 минут

Подскажите, а как склеить для поисковика домен с www и без? Вроде это в robots.txt делается?

.htaccess

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Opt-real]

в панель вебмастера яши не пробовали заглядывать ?
загляните ) а потому думаю поймете что оставить а что скрыть от идексации

К сожалению в панели яши не написано какие пути надо скрывать конкректно под ShopScriptFree, магазин я сам не делал и где какие пути за что отвечают полностью не знаю, поэтому и скриншот скинул файлов на хосте

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Это ваш файл роботс я так понимаю? Из всего что у вас там описано у меня только присутствует:
Disallow: /index.php?shopping_cart=yes , остального нет. Так что я ещё больше запутался.

З.Ы. вопрос по поводу
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся , в вашем robots.txt. Туда куда вы меня послали (панель вебмастера яндекса), говорят следующее :

Яндекс поддерживает два формата файлов Sitemap:

* XML;
* текстовый файл.

У вас расширение PHP, это нормально?

 

[AchiLLeSS]

чтобы не путаться киньте то что есть

пхпсайтмап яша и гугл прекрасно скушали )
Для просмотра ссылки Войди или Зарегистрируйся

не нравится - оставляйте свой )
мне лучше 5к страниц ) но с товаром и категориями )
чем 25к с корзиной покупок, сортировкой по цене, наименованию, обсуждению, печатью ) и ете все умножить на 2 (т.е. с www и без него)

p.s. не знаю как вас, но у меня сайтмап гугл индексирует со скоростью ~1000 ссылок 10 дней (

 

[mbiju]

чтобы не путаться киньте то что есть

пхпсайтмап яша и гугл прекрасно скушали )
Для просмотра ссылки Войди или Зарегистрируйся

не нравится - оставляйте свой )
мне лучше 5к страниц ) но с товаром и категориями )
чем 25к с корзиной покупок, сортировкой по цене, наименованию, обсуждению, печатью ) и ете все умножить на 2 (т.е. с www и без него)

p.s. не знаю как вас, но у меня сайтмап гугл индексирует со скоростью ~1000 ссылок 10 дней (

а чем вы делаете ваш сайтмап??
или у вас какой то скрипт?

 

[AchiLLeSS]

а чем вы делаете ваш сайтмап??
или у вас какой то скрипт?

На форуме выкладывали sitemap.php