Защита от генерирования исходящего трафика

[Nikolay Nikolaevich]

DLE 11.2

Последнее время на сайт постоянно заходят боты открывать несуществующие теги и загружать картинки, что приводит к генерированию большого количества исходящего трафика. Понятно, что вопрос скорее в компетенции администратора сервера, но можно ли что-то сделать непосредственно внутри самого сайта, что бы ослабить эффект?

Как-то ограничить доступ к папкам, переименовать их или сделать пи вызове несуществующего тега не стандартную страничку шаблона, а что-то более лёгкое?

 

[killoff]

но можно ли что-то сделать непосредственно внутри самого сайта

указать список ботов в robots.txt на разрешенные или запрещающие места на сайте.
или блокировать этих ботов по их IP через админку DLE - ?mod=blockip

 

[Nikolay Nikolaevich]

Это какая-то странная мистика, постоянные переходы на ошибку 404 откуда они все берутся непонятно.

То есть они даже ничего не качают и не делаю, просто перходят по ссылкам, которые не существуют получают 404 и всё. По большей части все они смотрят облако тегов. И по адресам не знаю как их прописать очень все они разные.

 

[sys64]

Это какая-то странная мистика, постоянные переходы на ошибку 404 откуда они все берутся непонятно.

То есть они даже ничего не качают и не делаю, просто перходят по ссылкам, которые не существуют получают 404 и всё. По большей части все они смотрят облако тегов. И по адресам не знаю как их прописать очень все они разные.

404 лучше, чем 5хх пройдитесь wget или linkchecker ( Для просмотра ссылки Войди или Зарегистрируйся ) и посмотрите что не так.

 

[Nikolay Nikolaevich]

линк чекер проверил какое-то очень большое количество ссылок, пока не попал под фильтр, но нашёл все го несколько ошибочных ссылок в модуле календаря, но из логов видно, что в календарь вообще никто не заходит. В смысле логи обращения из панели сервера. Там регистрируются обращения именно к несуществующим ссылкам, то есть когда они там были, но этого уже нет и ссылок естественно тоже нет. Но постоянно обращаются именно туда и только туда. Вот как бы это всё прикрыть именно по ссылкам. Их всего-то несколько штук, а адресов с которых обращаются, очень много. Трафик просто утекает на глазах. все ссылки это собственно /tags/Photo/1/ ... /tags/Photo/9/ вот и всё. Такого тега нет, получается 404, но при этом надо же всё обработать и показать стандартную страницу шаблона, а запросов море. Может страницу 404 можно упростить?

 

[sys64]

линк чекер проверил какое-то очень большое количество ссылок, пока не попал под фильтр, но нашёл все го несколько ошибочных ссылок в модуле календаря, но из логов видно, что в календарь вообще никто не заходит. В смысле логи обращения из панели сервера. Там регистрируются обращения именно к несуществующим ссылкам, то есть когда они там были, но этого уже нет и ссылок естественно тоже нет. Но постоянно обращаются именно туда и только туда. Вот как бы это всё прикрыть именно по ссылкам. Их всего-то несколько штук, а адресов с которых обращаются, очень много. Трафик просто утекает на глазах. все ссылки это собственно /tags/Photo/1/ ... /tags/Photo/9/ вот и всё. Такого тега нет, получается 404, но при этом надо же всё обработать и показать стандартную страницу шаблона, а запросов море. Может страницу 404 можно упростить?

Если стоит nginx, как вариант - сделать отдельный location для этих /tags/Photo/ и сделать отдачу главной с кодом 404:

error_page 404 /index.html;

Ну или как она там называется.

А в чем проблема трафика? Вроде сейчас везде безлимит.. Ну и по UA, возможно, referer порежьте.

 

[Nikolay Nikolaevich]

В целом проблема трафика это проблема нагрузки на канал. Там же разделяемый канал, она на целую кучу серверов, да и на самом сервере тоже сайтов много, мне доступа к настройкам сервера и его модулей никто не даст. Могут просто порезать трафик и всё. Надо разобраться как своими силами что-то сделать. Конечно само облако тегов можно отключить, но это не отменит переходы по ссылкам, которые суть переходы по уже где-то заданным ссылкам это даже не из поисковиков переходы.

 

[Doctor_zlo]

если средствами вебсервера и с целью эконмии траффика отдавать надо не 404 а 444

 

[nikilog]

1: CDN
2: Конечно надо 404 страницу делать минимальным объемом. Может там у вас картинка большая по объему
3: блочить ботов. На практике, китайские боты и школолошные ддосы очень просто по юзер-агенту фильтруются