Как защитится от NewsGrabber`а

[master6681]

Фигня. Во-первых за текст он цепляться может

ну вот возьмем твое сообщение, состоит из 4 предложений в каждом больше 6 слов, вот тебе и зацепка

Я не пойму как вы его прицепите к тексту если к примену возьмем сайт с новостями. Каждая новость имеет свой текст и в каждой разное количество предоложений и символов. Я так понимаю, что граббер может прицепиться к тегу, с которого начинается новость и к тегу которым заканчивается. Как его можно прицепит к тексту ?

 

[mehanic]

Ты не поверишь, но прицепиться всегда есть к чему
А если даже не прицепился - затянуть весь текст, а потом заменами все лишнее убрать.

 

[Lounge]

Друзья, всем спасибо за советы! Инфы дали полезной, буду ковырять

А вот тут хотел бы остановится поподробнее:

Самый простой способ защиты это сделать граб твоей ленты не интересным для "грабера"

1. Усложни ему жизнь не уникальными тегами, наличием всякой лабуды которая динамически меняется что бы товарисч утомился писать skip

Как это сделать на практике? Да так что б это не отразилось на внешнем представлении (ну что б пользователи то нормальный текст видели) и как это отразится на восприятии сайта поисковиками?
А, блин, на самом деле не очень хороший вариант, ведь ленту свою я и в яндекс и в рэдтрэм закинул и еще на несколько rss каналов, так что все они будут видеть эту лабуду.

3. когда ссылка на твой сайт есть в новости и не помечена тегами, она появиться у "грабера"

О, а вот это интересно! Как это можно реализовать? В принципе, это отчасти решение проблемы. т.к. новости в принципе то разрешено брать, но вот ссылки на источник никто не хочет ставить

 

[mehanic]

Друзья, всем спасибо за советы! Инфы дали полезной, буду ковырять

А вот тут хотел бы остановится поподробнее:

Как это сделать на практике? Да так что б это не отразилось на внешнем представлении (ну что б пользователи то нормальный текст видели) и как это отразится на восприятии сайта поисковиками?
А, блин, на самом деле не очень хороший вариант, ведь ленту свою я и в яндекс и в рэдтрэм закинул и еще на несколько rss каналов, так что все они будут видеть эту лабуду.


О, а вот это интересно! Как это можно реализовать? В принципе, это отчасти решение проблемы. т.к. новости в принципе то разрешено брать, но вот ссылки на источник никто не хочет ставить

Прочитай ветку еще раз и забей. Говорят тебе - нет от него спасения.

 

[AdeQuAte]

После долгих эксперементов с разными сайтами и грабером обнаружил на маилру в каком-то разделе на странице с новостью нет текста, одни яваскрипты, на гисметео тоже самое, сграбить не получается

 

[mehanic]

На джумлафорум.ру видел ветку, где автор обещал в следующих версиях обеспечить поддержку плагинов обработки текста. Думаю, такой подход решит и эту проблему. Ну а вообще, таких сайтов вряд ли будет много. Слишком глючная и медленная эта жабка.

 

[Lounge]

3. когда ссылка на твой сайт есть в новости и не помечена тегами, она появиться у "грабера"

И все же, подскажите как реализовать это, ведь это и от банальных копи-пэстеров должно защищать.
мож как-то скрытой эту ссылку можно сделать?

 

[mehanic]

Ну есть ссылка. например Для просмотра ссылки Войди или Зарегистрируйся. И что, ее грохнуть заменой нельзя?

 

[Lounge]

может ее как-то в тексте можно зашить, или невидимой для граббера и пользователей сделать, а поисковики шоб находили, а?

 

[mehanic]

может ее как-то в тексте можно зашить, или невидимой для граббера и пользователей сделать, а поисковики шоб находили, а?

Ты принцип разметки хтмл почитай.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.