Вопрос по robots.txt

[_sergey_]

Внешних ссылок добавить на нужные страницы... не?
в сайтмап записать их?
Просто добавить в адурилку... или хотя бы пропинговать.

Не поможет, если они закрыты в роботсе. Я так понял проблема в следующем. Есть страницы вида:

domen.ru/01_page/krasota.html
domen.ru/02_page/tesnota.html
domen.ru/03_page/prostota.html

Нужно запретить к индексации страницы:

domen.ru/01_page/
domen.ru/02_page/
domen.ru/03_page/

Но, если написать в роботсе:

Disallow: /*page/

То:

krasota.html
tesnota.html
prostota.html

Тоже перестанут индексироваться и никакие внешние ссылки с сайтмапом не помогут.

Как я написал выше варианта только 2, либо написать так:

Allow: /01_page/krasota.html
Allow: /02_page/tesnota.html
Allow: /03_page/prostota.html
Disallow: /*page/

Либо, преобразовать адреса страниц, чтобы не было в пути /page/


Dr.Sheff, если вы имели ввиду что-то другое напишите подробнее.

 

[77RU]

Не поможет, если они закрыты в роботсе

Я понял чо не они закрыты в роботсе, а ссылки на них стоят только со страниц закрытых в роботсе

 

[Dr.Sheff]

_sergey_, не совсем так.

Есть страницы:
domen.ru/kategoria_1/page/2/
domen.ru/kategoria_1/page/10/
domen.ru/kategoria_5/page/3/
Я думаю, если я запрещу индексировать страницы типа domen.ru/kategoria_1/page/10/ внутренние ссылки, ведущие с этих страниц тоже не проиндексируются (блочная структура сайта).

Внешних ссылок добавить на нужные страницы... не?
в сайтмап записать их?
Просто добавить в адурилку... или хотя бы пропинговать.

Так эти методы работают, или только предположения?
Я всегда считал, чтобы страница индексировалась на неё должен быть хотябы 1 внутренний линк?
Хотелось бы принцип работы робота узнать подробней. Может он просто не станет загружать указанное себе в индекс, а дальше по внутренним линкам пойдёт?Или он поочерёдно грузит страницы, потом смотрит куда с них пройти можно?

 

[_sergey_]

_sergey_, не совсем так.
Есть страницы:
domen.ru/kategoria_1/page/2/
domen.ru/kategoria_1/page/10/
domen.ru/kategoria_5/page/3/
Я думаю, если я запрещу индексировать страницы типа domen.ru/kategoria_1/page/10/ внутренние ссылки, ведущие с этих страниц тоже не проиндексируются (блочная структура сайта).

Ага! Без разницы, ваш пример или мой. Всё будет как я написал. Робот может страницы и загрузит (в ВМ будет написано что все загружены), но в поиске их не будет. Я все варианты проверил на тестовых урлах здесь: webmaster.yandex.ru/robots.xml

 

[Dr.Sheff]

Ага! Без разницы, ваш пример или мой. Всё будет как я написал. Робот может страницы и загрузит (в ВМ будет написано что все загружены), но в поиске их не будет. Я все варианты проверил на тестовых урлах здесь: webmaster.yandex.ru/robots.xml

Сорри, тормажу, забыл собственно написать саму поправку:
Внутренние страницы не содержат в путях "page".

Утрирую вопрос: сможет ли бот проиндексировать страницы 3-го уровня, если страницы 2-го уровня будут запрещены к индексации?

 

[_sergey_]

Утрирую вопрос: сможет ли бот проиндексировать страницы 3-го уровня, если страницы 2-го уровня будут запрещены к индексации?

Сможет. Карта сайта содержащия страницы подлежащие индексации, ссылка на неё с морды, внешние ссылки на страницы. Но страницы могут быть неустойчивы в индексе.

Но я не понял, если в пути на страницы 3-го уровня нет page, то почему вообще вопрос возник? Вы решили закрыть одни страницы с урлом в page, почему вы подумали, что это повлияет совсем на другие страницы, где в урле page нет?

 

[Dr.Sheff]

Сможет. Карта сайта содержащия страницы подлежащие индексации, ссылка на неё с морды, внешние ссылки на страницы. Но страницы могут быть неустойчивы в индексе.
Но я не понял, если в пути на страницы 3-го уровня нет page, то почему вообще вопрос возник? Вы решили закрыть одни страницы с урлом в page, почему вы подумали, что это повлияет совсем на другие страницы, где в урле page нет?

потому что перелинковка на сайте осуществляют как раз страницы с "page".
Тоесть, страницы с материалами(3-уровень) с главной связаны только через "page"(2 уровень). И если их бот будет игнорить, то 3-ий уровень он увидит?

 

[_sergey_]

потому что перелинковка на сайте осуществляют как раз страницы с "page".
Тоесть, страницы с материалами(3-уровень) с главной связаны только через "page"(2 уровень). И если их бот будет игнорить, то 3-ий уровень он увидит?

Должен найти, особо если помочь. В аддурилку добавить, внешние ссылки поставить, сайт мап в ВМ добавить. Если не помогать, то не факт, что проиндексирует все страницы.

А у меня тоже вопрос, вы используете нофоллов для внутренней перелинковки?

 

[Dr.Sheff]

А у меня тоже вопрос, вы используете нофоллов для внутренней перелинковки?

Нет, не использую.

 

[77RU]

_sergey_, не совсем так.

Есть страницы:
domen.ru/kategoria_1/page/2/
domen.ru/kategoria_1/page/10/
domen.ru/kategoria_5/page/3/
Я думаю, если я запрещу индексировать страницы типа domen.ru/kategoria_1/page/10/ внутренние ссылки, ведущие с этих страниц тоже не проиндексируются (блочная структура сайта).



Так эти методы работают, или только предположения?
Я всегда считал, чтобы страница индексировалась на неё должен быть хотябы 1 внутренний линк?
Хотелось бы принцип работы робота узнать подробней. Может он просто не станет загружать указанное себе в индекс, а дальше по внутренним линкам пойдёт?Или он поочерёдно грузит страницы, потом смотрит куда с них пройти можно?

Я всегда пишу то в чем уверен. ))) так что методы рабочие
Линк на страницу не важно какой - внутренний или внешний... его вообще божет не быть, если просто сообщить роботу через ту же адурилку например.