Домой WordPress WordPress: Другое Блокировка ботов создающих запредельную нагрузку
5 ответ(ов) в теме
garry
не в сети 4 часа
На сайте с 04.01.2014
Участник
Тем 118
Сообщения 2308
1
06:59

Всем привет.
За последние несколько дней серьезно увеличилась активность разных ботов, собирающих ссылки, проверяющих позиции, вообще сканящих ваши сайты.
В 99% они вам наносят только вред, сжирают все ресурсы и хостер присылает письма счастья.
На двух независимых акках вчера например было порядка 12 лямов обращений этих милых существ.
На еще одном большом сайте просто база перестала справляться.
В общем, добавляем вверх вашего корневого .htaccess

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (SemrushBot|MJ12bot|AhrefsBot|LinkpadBot) [NC]
RewriteRule .* - [F,L]

Проверяем работоспособность сайтов и в логах увидите, что боты начали блокироваться до апача и им отдается 403.
Список ботов пополняйте анализируя свои логи и выкладывайте сюда, будет очень полезно.

Редакции сообщения
03.12.2019 07:00garryПричина: не указано
3
garry
не в сети 4 часа
На сайте с 04.01.2014
Участник
Тем 118
Сообщения 2308
2
08:24

Добавил себе в список бота - Seekport
Стучит по сайту раз в 1 секунду, в кучу потоков, обходит весь сайт и по кругу, критично для сайтов даже с парой сотней страниц.

Редакции сообщения
05.12.2019 08:35garryПричина: не указано
2
Irisha
не в сети 2 дня
На сайте с 24.04.2018
Участник
Тем 21
Сообщения 92
3
11:53

"Милые существа" и мне успели помотать нервы 🙂 Спасибо за полезную подсказку.

1
Владимир (Otshelnik-Fm)
не в сети 52 минуты
На сайте с 27.01.2013
Модератор
Тем 30
Сообщения 16712
4
14:29

Еще ходит DotBot с урлом __http://www.opensiteexplorer.org/dotbot - но он редиректит на __https://moz.com/link-explorer

Конечно больше всех SemrushBot наследил. Они пишут рекомендации что в robots.txt можно указать ему не индексировать сайт - но похоже они директиву эту не исполняют - нет никакой реакции. Бот продолжает перебирать несуществующие урлы на сайте.

Оффтоп
Вот бы в роскомнадзор на них абузу накатать. А что - закрыть их в РФ. Хоть я и не поощряю работу роскомнадзора и регулирования интернета. Но блин, вот таких маркетологов точно надо закрывать.

Кстати, Игорь - твой сниппет выдавал мне и 403-ю на ботов, но иногда и цикличность какую-то и выдавал ботам 500-ю ошибку. Что есть неверно.

В логи писал странное:

Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary. Use 'LogLevel debug' to get a backtrace.

Проверь и у себя - возможно тоже редиректит - а это еще работа лишняя для вебсервера.

Я .htaccess сделал таким:

BrowserMatchNoCase "SemrushBot" bots
BrowserMatchNoCase "MJ12bot" bots
BrowserMatchNoCase "AhrefsBot" bots
BrowserMatchNoCase "DotBot" bots
Order Allow,Deny
Allow from ALL
Deny from env=bots

и для ботов строго 403-ю отдает и не пускает. Больше никаких редиректов и 500-х ошибок нет.

2
garry
не в сети 4 часа
На сайте с 04.01.2014
Участник
Тем 118
Сообщения 2308
5
21:22

У меня вроде не зацикливает, но да, могут быть разные настройки и другие правила...тут в любом случаи для себя лучший вариант нужен.
Спасибо за сниппет, при случаи протестирую.
robots.txt они не слушают, долбят без передышки.
DotBot у меня бывает, но больше 200 раз не стукает уже год. Но да, надо и его добавить.

Оффтоп
Абузу можно, жаль бессмысленно, по сути ничего не нарушают. Кроме как трепят нервы и заставляют выложить деньги на хост, кто не обратит внимание.

2
Вы не имеете права на публикацию сообщений в этой теме