Google игнорирует robots.txt???

[FL@SH]

Добрый день. Вот, столкнулся с проблемой. Есть сайт на DLE. В него вставил роботс.тхт вот такого содержания

User-Agent: *
Disallow: /user/

с целью убрать из индексации страницы с профилями пользователей. Яша ни одного профиля не проиндексировал, а гуг все ссылки Для просмотра ссылки Войди или Зарегистрируйся индексирует. Может я что-то неправильно в robots.txt сделал?

 

[FENRIT]

Добрый день. Вот, столкнулся с проблемой. Есть сайт на DLE. В него вставил роботс.тхт вот такого содержания

User-Agent: *
Disallow: /user/

с целью убрать из индексации страницы с профилями пользователей. Яша ни одного профиля не проиндексировал, а гуг все ссылки Для просмотра ссылки Войди или Зарегистрируйся индексирует. Может я что-то неправильно в robots.txt сделал?

хз, может глюк какой
попробуй без слеша на конце
т.е Disallow: /user

 

[ant1-pa]

Добрый день. Вот, столкнулся с проблемой. Есть сайт на DLE. В него вставил роботс.тхт вот такого содержания

User-Agent: *
Disallow: /user/

с целью убрать из индексации страницы с профилями пользователей. Яша ни одного профиля не проиндексировал, а гуг все ссылки Для просмотра ссылки Войди или Зарегистрируйся индексирует. Может я что-то неправильно в robots.txt сделал?

ты сделал все верно, просто обожди пока все обновится, если хочешь чтобы страницы выпали побыстрей то удали страницы в в панеле для вебмастера у гугли.

 

[ar4ik]

robots.txt это не указание, а рекомендации для Гугла
с Яшей тут попроще

 

[zakaji]

Все написано верно у тебя в роботсе, остается ждать, можно еще новый сайтмап сделать без этих ссылок и скормить Гоше, тогда он в пару днeй лишнее должен выкинуть из индекса)

 

[OnArs]

Добрый день. Вот, столкнулся с проблемой. Есть сайт на DLE. В него вставил роботс.тхт вот такого содержания

User-Agent: *
Disallow: /user/

Может я что-то неправильно в robots.txt сделал?

Всё нормально! Не беспокойтесь, пройдёт после обновлений в гугле, по-крайней мере сделано всё правильно, остаётся только ждать

P.s. По поводу того, что robots.txt для гугли это лишь рекомендации, а не указание в корне несогласен, всегда работал роботс как для яши, как для гугли, так и для других разумных поисковых систем.

 

[Tverdolik]

Как вариант продублировать ниже

User-Agent: googlebot

персонально для бота гугла, а не абстрактное для всех, может тогда он сообразит.

Так же можно использовать на страницах мета-тег:

<meta name="robots" content="noindex">

или

<meta name="googlebot" content="noindex">

, запрет на использование кэша данных страниц:

<meta name="robots" content="noarchive">

Если уж совсем плохо, то зарегся в панели гугл для вебмастеров и там есть пункт в разделе связи с гугл "Запрос на пересмотр сайта".

 

[General Fizz]

В инструментах для вебмастеров у яндекса и гугля есть возможность тестирования роботс.тхт. Воспользуйся ей и проверь конкретные урлы на индексацию.

Если эти урлы запрещены - удали их через те же панели - это самый быстрый метод.