яндекс и гугл не видят robots.txt

[MaxLord]

Вопрос - godshop.ru/robots.txt из браузера виден.
Яндекс говорит что файл не найден,
Гугл говорит что сервер выдает ошибку 500
проверка через веб-прокси hideme.ru выдает 404

но с браузера напрямую у всех заходит!

В чем трабла и как решить? Я схожу с ума)

про технологию - robots.txt редиректится mod_rewrite-ом на php, который его генерит. Выдает чистый файл, помоему раньше это работало на ура. По такому же принципу работает sitemap.xml.

Помогите пожалуйста)

 

[zerdek]

файл действительно дает 500 ошибку
проверить с командной строки можно так:

wget -d http://godshop.ru/robots.txt

ответ вашего сервера

---response begin---
HTTP/1.0 500 Internal Server Error
Date: Sun, 22 Aug 2010 20:48:55 GMT
Server: Apache/2.2.14 (Ubuntu)
X-Powered-By: PHP/5.3.2-1ubuntu4.2
Set-Cookie: PHPSESSID=ncvt6ckvaj5qlgp73v2tv7b486; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Vary: Accept-Encoding
Content-Length: 1950
Connection: close
Content-Type: text/plain; charset=utf-8

---response end---

смотрите скрипт или же косяк в .htaccess

 

[doter]

Скорее всего код ответа сервера не 200, а контент выдается текстовый с содержимым файла.

 

[spectailLL]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[zerdek]

ага, уже поправили. теперь все ок.
исходную ошибку я показал в своем посте выше.