Домой WordPress WordPress: Вопросы и ответы Нужна помощь с разбором логов сервера.
10ответ(ов) в теме
Lev
не в сети 4 года
На сайте с 23.06.2015
Участник
Тем 85
Сообщения 317
1
13:37

Здравствуйте.
Нуждаюсь в помощи по оптимизации нагрузки на сайт.
На сайте почти нет посетителей. он не запущен. Только я веду там всякую работу.
Может ли работа одного человека, админа вызывать большие нагрузки на сервак?
хостинг beget.com допустимая нагрузка 65cp но в течении для набирается около 30-45cp
Сегодня заметил, что еще не был на сайте и ничего не делал а нагрузка уже за 30 в период с 9 до 12 дня.

Вы не можете просматривать опубликованные ссылки

Запросил логи

Спойлер

-------------------------------------------
 5025	99.78%	сайт.ru

Top 20 of 89 IPs:
-------------------------------------------
 4148	82.37%	144.76.60.98     - Germany: Hetzner Online GmbH
 450	8.94%	87.236.19.40     - Check site scripts or Crontab!
 164	3.26%	31.132.188.42    - Russian Federation, Dyatkovo
 33	0.66%	207.46.13.29     - United States: Microsoft Corporation
 29	0.58%	157.55.39.180    - United States: Microsoft Corporation
 28	0.56%	40.77.167.37     - United States: Microsoft Corporation
 19	0.38%	216.244.66.229   - United States: Wowrack.com
 13	0.26%	149.154.153.199  - Europe	
 10	0.20%	87.250.224.50    - Russian Federation: YANDEX LLC
 9	0.18%	178.154.171.76   - Russian Federation: YANDEX LLC
 7	0.14%	178.154.200.5    - Russian Federation: YANDEX LLC
 5	0.10%	213.180.203.35   - Russian Federation: YANDEX LLC
 5	0.10%	68.180.230.90    - United States: Yahoo
 4	0.08%	87.250.224.73    - Russian Federation: YANDEX LLC
 4	0.08%	217.195.198.35   - Turkey	
 4	0.08%	178.154.200.7    - Russian Federation: YANDEX LLC
 4	0.08%	217.69.133.67    - Russian Federation: Limited liability company Mail.Ru
 3	0.06%	213.251.182.115  - France: OVH SAS
 3	0.06%	217.69.133.84    - Russian Federation: Limited liability company Mail.Ru
 3	0.06%	87.236.16.123    - Check site scripts or Crontab!

Top 20 of 43 User-Agents:
-------------------------------------------
 4148	82.37%	Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +http://megaindex.com/crawler)
 450	8.94%	WordPress/4.9.2; http://сайт.ru
 113	2.24%	Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36
 95	1.89%	Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
 51	1.01%	Mozilla/5.0 (Linux; Android 4.2.1; IQ451 Build/JOP40D) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.111 Mobile Safari/537.36
 40	0.79%	Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
 20	0.40%	Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
 19	0.38%	Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)
 16	0.32%	Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
 13	0.26%	Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36 OPR/49.0.2725.47
 7	0.14%	Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.99 Safari/533.4
 7	0.14%	Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)
 6	0.12%	Mozilla/5.0 (Windows NT 5.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1
 5	0.10%	Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
 3	0.06%	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
 3	0.06%	Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)
 3	0.06%	Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
 3	0.06%	WordPress/4.9.2; http://my-franch.ru
 2	0.04%	Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 OPR/50.0.2762.58
 2	0.04%	Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)

Top 3 of 3 METHODs:
-------------------------------------------
 154	3.06%	POST
 4881	96.92%	GET
 1	0.02%	HEAD

Top 20 of 4389 Requests:
-------------------------------------------
 322	6.39%	GET	сайт.ru/wp-content/plugins/simple-lightbox/themes/baseline/layout.html
 37	0.73%	GET	сайт.ru/123-2/?tb-preview=1&ver=3.3.9
 33	0.66%	GET	сайт.ru/123-2/
 27	0.54%	GET	сайт.ru/error-404/
 16	0.32%	GET	сайт.ru/
 16	0.32%	POST	сайт.ru/123-2/
 9	0.18%	GET	сайт.ru/wp-content/plugins/wp-recall/assets/css/font-awesome/fonts/fontawesome-webfont.woff2?v=4.7.0
 8	0.16%	GET	сайт.ru/online-widget/widget-champ.php
 8	0.16%	GET	сайт.ru/online-widget/widget-fun.php
 8	0.16%	GET	my-franch.ru/
 8	0.16%	GET	сайт.ru/wp-content/themes/itheme2/themify/fontawesome/fonts/fontawesome-webfont.woff2?v=4.7.0
 5	0.10%	GET	сайт.ru/forum/feed/
 5	0.10%	GET	сайт.ru/forum/
 4	0.08%	GET	сайт.ru/?tb-preview=1&ver=3.3.9
 4	0.08%	GET	сайт.ru/users/
 4	0.08%	GET	сайт.ru/f-a-q/
 4	0.08%	GET	сайт.ru/not_found
 3	0.06%	GET	сайт.ru/statistics/
 3	0.06%	GET	сайт.ru/account/?user=15
 3	0.06%	GET	сайт.ru/tag/mods/

Top CPers: (40.685 total)
-------------------------------------------
 29.709	сайт.ru/account/
 1.254	сайт.ru/123-2/
 0.701	сайт.ru/
 0.700	сайт.ru/wp-cron.php
 0.599	сайт.ru/users/
 0.338	сайт.ru/error-404/
 0.151	сайт.ru/sauber-mercedes-c9-lm-monza/
 0.151	сайт.ru/tag/mods/
 0.139	сайт.ru/nissan-gtr-gt3-imola/
 0.116	сайт.ru/ferrari-458-gt2-spa-frankochamps/
 0.105	сайт.ru/chempionat-roadster-championship/
 0.101	сайт.ru/bathurst-bmw-235i-racing/
 0.098	сайт.ru/chempionat-dtm-classic/
 0.092	сайт.ru/rating-champ/
 0.087	сайт.ru/category/сайт/page/5/
 0.086	сайт.ru/2015/08/
 0.086	сайт.ru/nissan-gt-r-nismo-zandvoort/
 0.085	сайт.ru/2015/10/
 0.076	сайт.ru/f-a-q/
 0.073	сайт.ru/mercedes-benz-sls-gt3-mugello-circuit/

82.37% 144.76.60.98 - Germany: Hetzner Online GmbH
Что это и как с подобным бороться? у меня стоит плагин в котором можно блокировать по ip, но я уверен, что там их много...

Редакции сообщения
01.02.2018 13:45LevПричина: не указано
0
Андрей CS
не в сети 2 дня
На сайте с 30.11.-0001
Администратор
Тем 71
Сообщения 16928
2
14:06

ясно же видно, что основной посетитель

Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +http://megaindex.com/crawler)

паук от MegaIndex усиленно сканирует сайт
Такой шушеры сотни по инету лазает и они способны вызвать нормальную такую нагрузку на пустом месте. Выход один - посылать их в бан через htaccess

1
Lev
не в сети 4 года
На сайте с 23.06.2015
Участник
Тем 85
Сообщения 317
3
14:30

А как правильно таких пауков заносить в этот файл, по ip или вписывать этот адрес

Вы не можете просматривать опубликованные ссылки

?

У меня в этом файле от iThemes Security уже куча строк своих. может прямо в админке ip добавить в его настройки безопасности?
Боюсь сломать, и не знаю, куда свои записи в ручную добавлять, в начала кода или в конеце.

0
Вова (Otshelnik-Fm)
не в сети 2 дня
На сайте с 27.01.2013
Участник
Тем 43
Сообщения 18654
4
14:33

Lev - вы задаете какие-то ленивые вопросы - в рунете таких рекомендаций тонны. Вписывайте в .htaccess

0
Lev
не в сети 4 года
На сайте с 23.06.2015
Участник
Тем 85
Сообщения 317
5
14:46

Я не знаю правил по которым правильно блокируется источник наезда.
В интернете много говорят...
тут куча правил. нет системы по которой можно было бы понять на примере других адресов, какой вариант использовать ))

Спойлер
# BEGIN iThemes Security - Не меняйте и не удаляйте эту строку
# iThemes Security Config Details: 2
	# Включить черный список HackRepair.com - Безопасность > Настройки > Бан пользователей > Черный список по умолчанию
	# Start HackRepair.com Blacklist
	RewriteEngine on
	# Start Abuse Agent Blocking
	RewriteCond %{HTTP_USER_AGENT} "^Mozilla.*Indy" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Mozilla.*NEWT" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^$" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Maxthon$" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^SeaMonkey$" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Acunetix" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^binlar" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^BlackWidow" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Bolt 0" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^BOT for JCE" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Bot mailto:craftbot@yahoo.com" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^casper" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^checkprivacy" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^ChinaClaw" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^clshttp" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^cmsworldmap" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Custo" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Default Browser 0" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^diavol" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^DIIbot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^DISCo" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^dotbot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Download Demon" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^eCatch" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^EirGrabber" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^EmailCollector" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^EmailSiphon" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^EmailWolf" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Express WebPictures" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^extract" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^ExtractorPro" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^EyeNetIE" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^feedfinder" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^FHscan" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^FlashGet" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^flicky" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^g00g1e" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^GetRight" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^GetWeb!" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Go!Zilla" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Go-Ahead-Got-It" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^grab" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^GrabNet" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Grafula" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^harvest" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^HMView" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Image Stripper" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Image Sucker" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^InterGET" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Internet Ninja" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^InternetSeer.com" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^jakarta" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Java" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^JetCar" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^JOC Web Spider" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^kanagawa" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^kmccrew" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^larbin" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^LeechFTP" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^libwww" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Mass Downloader" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^microsoft.url" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^MIDown tool" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^miner" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Mister PiX" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^MSFrontPage" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Navroad" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^NearSite" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Net Vampire" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^NetAnts" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^NetSpider" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^NetZIP" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^nutch" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Octopus" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Offline Explorer" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Offline Navigator" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^PageGrabber" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Papa Foto" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^pavuk" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^pcBrowser" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^PeoplePal" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^planetwork" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^psbot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^purebot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^pycurl" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^RealDownload" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^ReGet" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Rippers 0" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^sitecheck.internetseer.com" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^SiteSnagger" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^skygrid" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^SmartDownload" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^sucker" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^SuperBot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^SuperHTTP" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Surfbot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^tAkeOut" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Teleport Pro" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Toata dragostea mea pentru diavola" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^turnit" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^vikspider" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^VoidEYE" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Web Image Collector" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WebAuto" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WebBandit" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WebCopier" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WebFetch" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WebGo IS" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WebLeacher" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WebReaper" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WebSauger" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Website eXtractor" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Website Quester" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WebStripper" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WebWhacker" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WebZIP" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Widow" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WPScan" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WWW-Mechanize" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^WWWOFFLE" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Xaldon WebSpider" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^Zeus" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "^zmeu" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "360Spider" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "CazoodleBot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "discobot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "EasouSpider" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "ecxi" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "GT::WWW" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "heritrix" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "HTTP::Lite" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "HTTrack" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "ia_archiver" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "id-search" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "IDBot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "Indy Library" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "IRLbot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "ISC Systems iRc Search 2.1" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "LinksCrawler" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "LinksManager.com_bot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "linkwalker" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "lwp-trivial" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "MFC_Tear_Sample" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "Microsoft URL Control" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "Missigua Locator" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "panscient.com" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "PECL::HTTP" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "PHPCrawl" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "PleaseCrawl" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "SBIder" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "SearchmetricsBot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "SeznamBot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "Snoopy" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "Steeler" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "URI::Fetch" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "urllib" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "Web Sucker" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "webalta" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "WebCollage" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "Wells Search II" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "WEP Search" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "XoviBot" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "YisouSpider" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "zermelo" [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} "ZyBorg" [NC,OR]
	# End Abuse Agent Blocking
	# Start Abuse HTTP Referrer Blocking
	RewriteCond %{HTTP_REFERER} "^https?://(?:[^/]+.)?semalt.com" [NC,OR]
	RewriteCond %{HTTP_REFERER} "^https?://(?:[^/]+.)?kambasoft.com" [NC,OR]
	RewriteCond %{HTTP_REFERER} "^https?://(?:[^/]+.)?savetubevideo.com" [NC]
	# End Abuse HTTP Referrer Blocking
	RewriteRule ^.* - [F,L]
	# End HackRepair.com Blacklist, http://pastebin.com/u/hackrepair

	# Заблокированые хосты - Безопасность > Настройки > Заблокированные пользователи
	SetEnvIF REMOTE_ADDR "^94.231.151.120$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^94.231.151.120$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^94.231.151.120$" DenyAccess

	SetEnvIF REMOTE_ADDR "^79.173.92.24$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^79.173.92.24$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^79.173.92.24$" DenyAccess

	SetEnvIF REMOTE_ADDR "^176.120.38.254$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^176.120.38.254$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^176.120.38.254$" DenyAccess

	SetEnvIF REMOTE_ADDR "^173.254.197.87$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^173.254.197.87$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^173.254.197.87$" DenyAccess

	SetEnvIF REMOTE_ADDR "^120.52.73.97$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^120.52.73.97$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^120.52.73.97$" DenyAccess

	SetEnvIF REMOTE_ADDR "^193.201.225.163$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^193.201.225.163$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^193.201.225.163$" DenyAccess

	SetEnvIF REMOTE_ADDR "^185.154.15.182$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^185.154.15.182$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^185.154.15.182$" DenyAccess

	SetEnvIF REMOTE_ADDR "^195.123.211.126$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^195.123.211.126$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^195.123.211.126$" DenyAccess

	SetEnvIF REMOTE_ADDR "^93.170.169.63$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^93.170.169.63$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^93.170.169.63$" DenyAccess

	SetEnvIF REMOTE_ADDR "^46.8.45.18$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^46.8.45.18$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^46.8.45.18$" DenyAccess

	SetEnvIF REMOTE_ADDR "^185.26.113.100$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^185.26.113.100$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^185.26.113.100$" DenyAccess

	SetEnvIF REMOTE_ADDR "^185.154.14.49$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^185.154.14.49$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^185.154.14.49$" DenyAccess

	SetEnvIF REMOTE_ADDR "^79.173.90.246$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^79.173.90.246$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^79.173.90.246$" DenyAccess

	SetEnvIF REMOTE_ADDR "^185.175.158.223$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^185.175.158.223$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^185.175.158.223$" DenyAccess

	SetEnvIF REMOTE_ADDR "^37.147.108.24$" DenyAccess
	SetEnvIF X-FORWARDED-FOR "^37.147.108.24$" DenyAccess
	SetEnvIF X-CLUSTER-CLIENT-IP "^37.147.108.24$" DenyAccess

	<IfModule mod_authz_core.c>
		<RequireAll>
			Require all granted
			Require not env DenyAccess
			Require not ip 94.231.151.120
			Require not ip 79.173.92.24
			Require not ip 176.120.38.254
			Require not ip 173.254.197.87
			Require not ip 120.52.73.97
			Require not ip 193.201.225.163
			Require not ip 185.154.15.182
			Require not ip 195.123.211.126
			Require not ip 93.170.169.63
			Require not ip 46.8.45.18
			Require not ip 185.26.113.100
			Require not ip 185.154.14.49
			Require not ip 79.173.90.246
			Require not ip 185.175.158.223
			Require not ip 37.147.108.24
		</RequireAll>
	</IfModule>
	<IfModule !mod_authz_core.c>
		Order allow,deny
		Allow from all
		Deny from env=DenyAccess
		Deny from 94.231.151.120
		Deny from 79.173.92.24
		Deny from 176.120.38.254
		Deny from 173.254.197.87
		Deny from 120.52.73.97
		Deny from 193.201.225.163
		Deny from 185.154.15.182
		Deny from 195.123.211.126
		Deny from 93.170.169.63
		Deny from 46.8.45.18
		Deny from 185.26.113.100
		Deny from 185.154.14.49
		Deny from 79.173.90.246
		Deny from 185.175.158.223
		Deny from 37.147.108.24
	</IfModule>

	# Защита системных файлов - Безопасность > Настройки > Системные подстройки > Системные файлы
	<files .htaccess>
		<IfModule mod_authz_core.c>
			Require all denied
		</IfModule>
		<IfModule !mod_authz_core.c>
			Order allow,deny
			Deny from all
		</IfModule>
	</files>
	<files readme.html>
		<IfModule mod_authz_core.c>
			Require all denied
		</IfModule>
		<IfModule !mod_authz_core.c>
			Order allow,deny
			Deny from all
		</IfModule>
	</files>
	<files readme.txt>
		<IfModule mod_authz_core.c>
			Require all denied
		</IfModule>
		<IfModule !mod_authz_core.c>
			Order allow,deny
			Deny from all
		</IfModule>
	</files>
	<files wp-config.php>
		<IfModule mod_authz_core.c>
			Require all denied
		</IfModule>
		<IfModule !mod_authz_core.c>
			Order allow,deny
			Deny from all
		</IfModule>
	</files>

	# Отключить просмотр папок - Безопасность > Настройки > Системные подстройки > Просмотр папок
	Options -Indexes

	<IfModule mod_rewrite.c>
		RewriteEngine On

		# Защита системных файлов - Безопасность > Настройки > Системные подстройки > Системные файлы
		RewriteRule ^wp-admin/install.php$ - [F]
		RewriteRule ^wp-admin/includes/ - [F]
		RewriteRule !^wp-includes/ - [S=3]
		RewriteRule ^wp-includes/[^/]+.php$ - [F]
		RewriteRule ^wp-includes/js/tinymce/langs/.+.php - [F]
		RewriteRule ^wp-includes/theme-compat/ - [F]

		# Disable PHP in Uploads - Security > Settings > System Tweaks > PHP in Uploads
		RewriteRule ^wp-content/uploads/.*.(?:php[1-7]?|pht|phtml?|phps)$ - [NC,F]
	</IfModule>

	# Отключить XML-RPC - Безопасность > Настройки > Подстройка WordPress > XML-RPC
	<files xmlrpc.php>
		<IfModule mod_authz_core.c>
			Require all denied
		</IfModule>
		<IfModule !mod_authz_core.c>
			Order allow,deny
			Deny from all
		</IfModule>
	</files>

	<IfModule mod_rewrite.c>
		RewriteEngine On

		# Reduce Comment Spam - Security > Settings > WordPress Tweaks > Comment Spam
		RewriteCond %{REQUEST_METHOD} POST
		RewriteCond %{REQUEST_URI} /wp-comments-post.php$
		RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
		RewriteCond %{HTTP_REFERER} !^https?://(([^/]+.)?funrace.ru|jetpack.wordpress.com/jetpack-comment)(/|$) [NC]
		RewriteRule ^.* - [F]
	</IfModule>
# END iThemes Security - Не меняйте и не удаляйте эту строку

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

<Limit GET POST> 
Order Allow,Deny
Allow From All
Deny From IP 37.9.53.101 
Deny From IP 188.246.224.102
Deny From IP 175.126.62.151
Deny From IP 77.120.96.66
Deny From IP 94.242.206.81
Deny From IP 176.8.75.62
Deny From IP 94.242.206.85
Deny From IP 94.242.206
Deny From IP 95.37.5.85
Deny From IP 195.88.209.162
Deny From IP 91.235.129.223
Deny From IP 46.119.81.141
Deny From IP 195.54.162.208
Deny From IP 37.205.65.86
Deny From IP 178.127.216.143
Deny From IP 195.54.163.207
Deny From IP 91.235.128.223
Deny From IP 193.27.73.133
Deny From IP 91.235.129.224
Deny From IP 195.54.162.207
Deny From IP 195.54.162
Deny From IP 195.250.34.144
Deny From IP 94.153.94.27
Deny From IP 212.112.119.36
Deny From IP 176.102.37.86
Deny From IP 195.88.209.222
Deny From IP 195.88.209.247
Deny From IP 195.88.209.74
Deny From IP 195.88.209
Deny From IP 91.200.13.90
Deny From IP 91.200.14.72
Deny From IP 176.214.116.133
Deny From IP 46.22.211.100
Deny From IP 83.99.139.223
Deny From IP 37.1.216.48
Deny From IP 95.154.217.62
Deny From IP 31.220.43.177
Deny From IP 173.199.158.232
Deny From IP 188.121.62.249
Deny From IP 151.236.51.69
Deny From IP 87.255.57.169
Deny From IP 50.63.52.90
Deny From IP 195.216.233.12
Deny From IP 208.113.148.48
Deny From IP 173.236.176.16
Deny From IP 174.137.145.252
Deny From IP 174.137.145
Deny From IP 69.64.65.10
Deny From IP 5.135.165.206
Deny From IP 195.216.233.12
Deny From IP 184.168.112.26
Deny From IP 103.9.100.211
Deny From IP 184.168.89.139
Deny From IP 216.14.120.39
Deny From IP 93.114.46.11
Deny From IP 199.180.101.25
Deny From IP 109.169.44.48
Deny From IP 184.168.89.139
Deny From IP 37.204.254.216
Deny From IP 184.168.89
Deny From IP 195.88.31.48
Deny From IP 50.7.192.27
Deny From IP 195.3.146.112
Deny From IP 216.70.90.99
Deny From IP 50.7.192.27
Deny From IP 94.242.239.186
Deny From IP 207.58.135.162
Deny From IP 213.229.121.124
Deny From IP 162.42.239.248
Deny From IP 166.78.169.147
Deny From IP 74.208.111.148
Deny From IP 92.60.123.168
Deny From IP 129.121.182.100
Deny From IP 195.154.117.65
Deny From IP 23.253.90.79
Deny From IP 93.189.94.143 
Deny From IP 37.187.37.199
Deny From IP 198.89.122.74
Deny From IP 82.165.143.210
Deny From IP 133.242.22.177
Deny From IP 216.70.107.236
Deny From IP 193.255.83.100
Deny From IP 81.177.135.43
Deny From IP 162.247.72.213
Deny From IP 37.187.51.210
Deny From 46.175.188.100
Deny from hosted-by.blazingfast.io
</Limit>

Уверен, что просто добавить Ip мало.

Я читал тут

Вы не можете просматривать опубликованные ссылки

Но опять же, не понятно, как в это добавить свое и что именно нужно вписывать. вставил свой код между # и </Limit> и сайт упал ))

Редакции сообщения
01.02.2018 15:12LevПричина: не указано
01.02.2018 15:12LevПричина: не указано
0
Preci
не в сети 2 месяца
На сайте с 11.11.2014
Участник
Тем 71
Сообщения 1644
6
19:09

плагин для статичного кеширования страниц установить и все, хоть тысячи этих роботов пусть будут

1
garry
не в сети 6 часов
На сайте с 04.01.2014
Участник
Тем 146
Сообщения 2933
7
19:25

MegaIndex просто борзеет иногда сверх меры и нагрузка от него запредел бывает, роботс ему не указ, хотя типо слушает они пишут))
Вот это в htaccess и в логах потом посмотреть что ему отдается.

RewriteEngine on
# Options +FollowSymlinks

RewriteCond %{HTTP_REFERER} MegaIndex\.ru [NC]
RewriteRule ^.* - [F,L]

Главное что бы сайт работал после вставки)

Редакции сообщения
01.02.2018 19:26garryПричина: не указано
01.02.2018 19:27garryПричина: не указано
01.02.2018 19:28garryПричина: не указано
1
garry
не в сети 6 часов
На сайте с 04.01.2014
Участник
Тем 146
Сообщения 2933
8
19:31

Можно расширить 🙂

SetEnvIfNoCase User-Agent "MegaIndex.ru" bad_bot
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "Alexibot" bad_bot
SetEnvIfNoCase User-Agent "Anonymouse.org" bad_bot
SetEnvIfNoCase User-Agent "asterias" bad_bot
SetEnvIfNoCase User-Agent "attach" bad_bot
SetEnvIfNoCase User-Agent "BackDoorBot" bad_bot
SetEnvIfNoCase User-Agent "BackWeb" bad_bot
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "Bandit" bad_bot
SetEnvIfNoCase User-Agent "BatchFTP" bad_bot
SetEnvIfNoCase User-Agent "Bigfoot" bad_bot
SetEnvIfNoCase User-Agent "Birubot" bad_bot
SetEnvIfNoCase User-Agent "Black.Hole" bad_bot
SetEnvIfNoCase User-Agent "BlackWidow" bad_bot
SetEnvIfNoCase User-Agent "BlowFish" bad_bot
SetEnvIfNoCase User-Agent "Bot mailto:craftbot@yahoo.com" bad_bot
SetEnvIfNoCase User-Agent "BotALot" bad_bot
SetEnvIfNoCase User-Agent "BTWebClient" bad_bot
SetEnvIfNoCase User-Agent "Buddy" bad_bot
SetEnvIfNoCase User-Agent "BuiltBotTough" bad_bot
SetEnvIfNoCase User-Agent "Bullseye" bad_bot
SetEnvIfNoCase User-Agent "BunnySlippers" bad_bot
SetEnvIfNoCase User-Agent "Butterfly" bad_bot
SetEnvIfNoCase User-Agent "CamontSpider" bad_bot
SetEnvIfNoCase User-Agent "Cegbfeieh" bad_bot
SetEnvIfNoCase User-Agent "CheeseBot" bad_bot
SetEnvIfNoCase User-Agent "CherryPicker" bad_bot
SetEnvIfNoCase User-Agent "ChinaClaw" bad_bot
SetEnvIfNoCase User-Agent "Collector" bad_bot
SetEnvIfNoCase User-Agent "CommentReader" bad_bot
SetEnvIfNoCase User-Agent "Copier" bad_bot
SetEnvIfNoCase User-Agent "CopyRightCheck" bad_bot
SetEnvIfNoCase User-Agent "cosmos" bad_bot
SetEnvIfNoCase User-Agent "Crescent" bad_bot
SetEnvIfNoCase User-Agent "Curl" bad_bot
SetEnvIfNoCase User-Agent "Custo" bad_bot
SetEnvIfNoCase User-Agent "DIIbot" bad_bot
SetEnvIfNoCase User-Agent "DISCo" bad_bot
SetEnvIfNoCase User-Agent "discobot" bad_bot
SetEnvIfNoCase User-Agent "DittoSpyder" bad_bot
SetEnvIfNoCase User-Agent "Dolphin" bad_bot
SetEnvIfNoCase User-Agent "DotBot" bad_bot
SetEnvIfNoCase User-Agent "Download Demon" bad_bot
SetEnvIfNoCase User-Agent "Download Devil" bad_bot
SetEnvIfNoCase User-Agent "Download Wonder" bad_bot
SetEnvIfNoCase User-Agent "Download" bad_bot
SetEnvIfNoCase User-Agent "Downloader" bad_bot
SetEnvIfNoCase User-Agent "dragonfly" bad_bot
SetEnvIfNoCase User-Agent "Drip" bad_bot
SetEnvIfNoCase User-Agent "EasyDL" bad_bot
SetEnvIfNoCase User-Agent "ebingbong" bad_bot
SetEnvIfNoCase User-Agent "eCatch" bad_bot
SetEnvIfNoCase User-Agent "EirGrabber" bad_bot
SetEnvIfNoCase User-Agent "EmailCollector" bad_bot
SetEnvIfNoCase User-Agent "EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "EroCrawler" bad_bot
SetEnvIfNoCase User-Agent "Exabot" bad_bot
SetEnvIfNoCase User-Agent "Express WebPictures" bad_bot
SetEnvIfNoCase User-Agent "Extractor" bad_bot
SetEnvIfNoCase User-Agent "EyeNetIE" bad_bot
SetEnvIfNoCase User-Agent "Ezooms" bad_bot
SetEnvIfNoCase User-Agent "FairShare" bad_bot
SetEnvIfNoCase User-Agent "FileHound" bad_bot
SetEnvIfNoCase User-Agent "FlashGet" bad_bot
SetEnvIfNoCase User-Agent "flunky" bad_bot
SetEnvIfNoCase User-Agent "Foobot" bad_bot
SetEnvIfNoCase User-Agent "FrontPage" bad_bot
SetEnvIfNoCase User-Agent "GetRight" bad_bot
SetEnvIfNoCase User-Agent "GetSmart" bad_bot
SetEnvIfNoCase User-Agent "GetWeb!" bad_bot
SetEnvIfNoCase User-Agent "Gigabot" bad_bot
SetEnvIfNoCase User-Agent "Go!Zilla" bad_bot
SetEnvIfNoCase User-Agent "Go-Ahead-Got-It" bad_bot
SetEnvIfNoCase User-Agent "gold crawler" bad_bot
SetEnvIfNoCase User-Agent "gotit" bad_bot
SetEnvIfNoCase User-Agent "Grabber" bad_bot
SetEnvIfNoCase User-Agent "GrabNet" bad_bot
SetEnvIfNoCase User-Agent "Grafula" bad_bot
SetEnvIfNoCase User-Agent "Harvest" bad_bot
SetEnvIfNoCase User-Agent "hloader" bad_bot
SetEnvIfNoCase User-Agent "HMView" bad_bot
SetEnvIfNoCase User-Agent "httplib" bad_bot
SetEnvIfNoCase User-Agent "HTTrack" bad_bot
SetEnvIfNoCase User-Agent "humanlinks" bad_bot
SetEnvIfNoCase User-Agent "ia_archiver" bad_bot
SetEnvIfNoCase User-Agent "igdeSpyder" bad_bot
SetEnvIfNoCase User-Agent "IlseBot" bad_bot
SetEnvIfNoCase User-Agent "Image Stripper" bad_bot
SetEnvIfNoCase User-Agent "Image Sucker" bad_bot
SetEnvIfNoCase User-Agent "Indy Library" bad_bot
SetEnvIfNoCase User-Agent "InfoNaviRobot" bad_bot
SetEnvIfNoCase User-Agent "InfoTekies" bad_bot
SetEnvIfNoCase User-Agent "Intelliseek" bad_bot
SetEnvIfNoCase User-Agent "InterGET" bad_bot
SetEnvIfNoCase User-Agent "Internet Ninja" bad_bot
SetEnvIfNoCase User-Agent "InternetSeer" bad_bot
SetEnvIfNoCase User-Agent "Iria" bad_bot
SetEnvIfNoCase User-Agent "Jakarta" bad_bot
SetEnvIfNoCase User-Agent "Java" bad_bot
SetEnvIfNoCase User-Agent "JennyBot" bad_bot
SetEnvIfNoCase User-Agent "JetCar" bad_bot
SetEnvIfNoCase User-Agent "JOC" bad_bot
SetEnvIfNoCase User-Agent "JS-Kit" bad_bot
SetEnvIfNoCase User-Agent "JustView" bad_bot
SetEnvIfNoCase User-Agent "Jyxobot" bad_bot
SetEnvIfNoCase User-Agent "Kenjin.Spider" bad_bot
SetEnvIfNoCase User-Agent "Keyword.Density" bad_bot
SetEnvIfNoCase User-Agent "kmSearchBot" bad_bot
SetEnvIfNoCase User-Agent "larbin" bad_bot
SetEnvIfNoCase User-Agent "LeechFTP" bad_bot
SetEnvIfNoCase User-Agent "LexiBot" bad_bot
SetEnvIfNoCase User-Agent "lftp" bad_bot
SetEnvIfNoCase User-Agent "libWeb/clsHTTP" bad_bot
SetEnvIfNoCase User-Agent "libwww" bad_bot
SetEnvIfNoCase User-Agent "likse" bad_bot
SetEnvIfNoCase User-Agent "Linguee" bad_bot
SetEnvIfNoCase User-Agent "LinkExchanger" bad_bot
SetEnvIfNoCase User-Agent "LinkextractorPro" bad_bot
SetEnvIfNoCase User-Agent "LinkScan/8.1a.Unix" bad_bot
SetEnvIfNoCase User-Agent "LinkWalker" bad_bot
SetEnvIfNoCase User-Agent "LNSpiderguy" bad_bot
SetEnvIfNoCase User-Agent "LWP::Simple" bad_bot
SetEnvIfNoCase User-Agent "lwp-trivial" bad_bot
SetEnvIfNoCase User-Agent "Magnet" bad_bot
SetEnvIfNoCase User-Agent "Mag-Net" bad_bot
SetEnvIfNoCase User-Agent "MarkWatch" bad_bot
SetEnvIfNoCase User-Agent "Mass Downloader" bad_bot
SetEnvIfNoCase User-Agent "Mata.Hari" bad_bot
SetEnvIfNoCase User-Agent "Memo" bad_bot
SetEnvIfNoCase User-Agent "Microsoft URL Control" bad_bot
SetEnvIfNoCase User-Agent "Microsoft.URL" bad_bot
SetEnvIfNoCase User-Agent "MIDown tool" bad_bot
SetEnvIfNoCase User-Agent "MIIxpc" bad_bot
SetEnvIfNoCase User-Agent "Mirror" bad_bot
SetEnvIfNoCase User-Agent "Missigua Locator" bad_bot
SetEnvIfNoCase User-Agent "Mister PiX" bad_bot
SetEnvIfNoCase User-Agent "MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "MLBot" bad_bot
SetEnvIfNoCase User-Agent "moget" bad_bot
SetEnvIfNoCase User-Agent "Mozilla.*NEWT" bad_bot
SetEnvIfNoCase User-Agent "Mozilla/3.Mozilla/2.01" bad_bot
SetEnvIfNoCase User-Agent "NAMEPROTECT" bad_bot
SetEnvIfNoCase User-Agent "Navroad" bad_bot
SetEnvIfNoCase User-Agent "NearSite" bad_bot
SetEnvIfNoCase User-Agent "Net Vampire" bad_bot
SetEnvIfNoCase User-Agent "NetAnts" bad_bot
SetEnvIfNoCase User-Agent "Netcraft" bad_bot
SetEnvIfNoCase User-Agent "NetMechanic" bad_bot
SetEnvIfNoCase User-Agent "NetSpider" bad_bot
SetEnvIfNoCase User-Agent "NetZIP" bad_bot
SetEnvIfNoCase User-Agent "NextGenSearchBot" bad_bot
SetEnvIfNoCase User-Agent "NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "NimbleCrawler" bad_bot
SetEnvIfNoCase User-Agent "Ninja" bad_bot
SetEnvIfNoCase User-Agent "NjuiceBot" bad_bot
SetEnvIfNoCase User-Agent "NPbot" bad_bot
SetEnvIfNoCase User-Agent "Nutch" bad_bot
SetEnvIfNoCase User-Agent "Octopus" bad_bot
SetEnvIfNoCase User-Agent "Offline Explorer" bad_bot
SetEnvIfNoCase User-Agent "Offline Navigator" bad_bot
SetEnvIfNoCase User-Agent "Openfind" bad_bot
SetEnvIfNoCase User-Agent "OutfoxBot" bad_bot
SetEnvIfNoCase User-Agent "PageGrabber" bad_bot
SetEnvIfNoCase User-Agent "Papa Foto" bad_bot
SetEnvIfNoCase User-Agent "pavuk" bad_bot
SetEnvIfNoCase User-Agent "pcBrowser" bad_bot
SetEnvIfNoCase User-Agent "PHP version tracker" bad_bot
SetEnvIfNoCase User-Agent "PHP" bad_bot
SetEnvIfNoCase User-Agent "Pockey" bad_bot
SetEnvIfNoCase User-Agent "PostRank" bad_bot
SetEnvIfNoCase User-Agent "ProPowerBot/2.14" bad_bot
SetEnvIfNoCase User-Agent "ProWebWalker" bad_bot
SetEnvIfNoCase User-Agent "psbot" bad_bot
SetEnvIfNoCase User-Agent "ptd-crawler" bad_bot
SetEnvIfNoCase User-Agent "Pump" bad_bot
SetEnvIfNoCase User-Agent "Purebot" bad_bot
SetEnvIfNoCase User-Agent "PycURL" bad_bot
SetEnvIfNoCase User-Agent "QueryN.Metasearch" bad_bot
SetEnvIfNoCase User-Agent "RealDownload" bad_bot
SetEnvIfNoCase User-Agent "Reaper" bad_bot
SetEnvIfNoCase User-Agent "Recorder" bad_bot
SetEnvIfNoCase User-Agent "ReGet" bad_bot
SetEnvIfNoCase User-Agent "RepoMonkey" bad_bot
SetEnvIfNoCase User-Agent "RMA" bad_bot
SetEnvIfNoCase User-Agent "Siphon" bad_bot
SetEnvIfNoCase User-Agent "SiteBot" bad_bot
SetEnvIfNoCase User-Agent "sitecheck.internetseer.com" bad_bot
SetEnvIfNoCase User-Agent "SiteSnagger" bad_bot
SetEnvIfNoCase User-Agent "SlySearch" bad_bot
SetEnvIfNoCase User-Agent "SmartDownload" bad_bot
SetEnvIfNoCase User-Agent "Snake" bad_bot
SetEnvIfNoCase User-Agent "Snapbot" bad_bot
SetEnvIfNoCase User-Agent "Snoopy" bad_bot
SetEnvIfNoCase User-Agent "sogou" bad_bot
SetEnvIfNoCase User-Agent "Soup" bad_bot
SetEnvIfNoCase User-Agent "SpaceBison" bad_bot
SetEnvIfNoCase User-Agent "SpankBot" bad_bot
SetEnvIfNoCase User-Agent "spanner" bad_bot
SetEnvIfNoCase User-Agent "spbot" bad_bot
SetEnvIfNoCase User-Agent "Sqworm" bad_bot
SetEnvIfNoCase User-Agent "Stripper" bad_bot
SetEnvIfNoCase User-Agent "Sucker" bad_bot
SetEnvIfNoCase User-Agent "suggybot" bad_bot
SetEnvIfNoCase User-Agent "SuperBot" bad_bot
SetEnvIfNoCase User-Agent "SuperHTTP" bad_bot
SetEnvIfNoCase User-Agent "Surfbot" bad_bot
SetEnvIfNoCase User-Agent "SurveyBot" bad_bot
SetEnvIfNoCase User-Agent "suzuran" bad_bot
SetEnvIfNoCase User-Agent "SWeb" bad_bot
SetEnvIfNoCase User-Agent "Szukacz/1.4" bad_bot
SetEnvIfNoCase User-Agent "Tagoobot" bad_bot
SetEnvIfNoCase User-Agent "tAkeOut" bad_bot
SetEnvIfNoCase User-Agent "Teleport" bad_bot
SetEnvIfNoCase User-Agent "Telesoft" bad_bot
SetEnvIfNoCase User-Agent "The.Intraformant" bad_bot
SetEnvIfNoCase User-Agent "TheNomad" bad_bot
SetEnvIfNoCase User-Agent "TightTwatBot" bad_bot
SetEnvIfNoCase User-Agent "Titan" bad_bot
SetEnvIfNoCase User-Agent "toCrawl/UrlDispatcher" bad_bot
SetEnvIfNoCase User-Agent "True_Robot" bad_bot
SetEnvIfNoCase User-Agent "ttCrawler" bad_bot
SetEnvIfNoCase User-Agent "turingos" bad_bot
SetEnvIfNoCase User-Agent "TurnitinBot" bad_bot
SetEnvIfNoCase User-Agent "TurnitinBot/1.5" bad_bot
SetEnvIfNoCase User-Agent "Twiceler" bad_bot
SetEnvIfNoCase User-Agent "URLy.Warning" bad_bot
SetEnvIfNoCase User-Agent "Vacuum" bad_bot
SetEnvIfNoCase User-Agent "VCI" bad_bot
SetEnvIfNoCase User-Agent "VoidEYE" bad_bot
SetEnvIfNoCase User-Agent "Voyager" bad_bot
SetEnvIfNoCase User-Agent "Web Image Collector" bad_bot
SetEnvIfNoCase User-Agent "Web Sucker" bad_bot
SetEnvIfNoCase User-Agent "Web.Image.Collector" bad_bot
SetEnvIfNoCase User-Agent "WebAuto" bad_bot
SetEnvIfNoCase User-Agent "WebBandit" bad_bot
SetEnvIfNoCase User-Agent "Webclipping.com" bad_bot
SetEnvIfNoCase User-Agent "WebCopier" bad_bot
SetEnvIfNoCase User-Agent "WebEMailExtrac.*" bad_bot
SetEnvIfNoCase User-Agent "WebEnhancer" bad_bot
SetEnvIfNoCase User-Agent "WebFetch" bad_bot
SetEnvIfNoCase User-Agent "WebGo IS" bad_bot
SetEnvIfNoCase User-Agent "WebLeacher" bad_bot
SetEnvIfNoCase User-Agent "WebmasterWorldForumBot" bad_bot
SetEnvIfNoCase User-Agent "WebReaper" bad_bot
SetEnvIfNoCase User-Agent "WebSauger" bad_bot
SetEnvIfNoCase User-Agent "Website eXtractor" bad_bot
SetEnvIfNoCase User-Agent "Website Quester" bad_bot
SetEnvIfNoCase User-Agent "WebSite" bad_bot
SetEnvIfNoCase User-Agent "Webster" bad_bot
SetEnvIfNoCase User-Agent "WebStripper" bad_bot
SetEnvIfNoCase User-Agent "WebWhacker" bad_bot
SetEnvIfNoCase User-Agent "WebZIP" bad_bot
SetEnvIfNoCase User-Agent "Wget" bad_bot
SetEnvIfNoCase User-Agent "Whacker" bad_bot
SetEnvIfNoCase User-Agent "Widow" bad_bot
SetEnvIfNoCase User-Agent "WISENutbot" bad_bot
SetEnvIfNoCase User-Agent "WordPress" bad_bot
SetEnvIfNoCase User-Agent "WWW-Collector-E" bad_bot
SetEnvIfNoCase User-Agent "WWWOFFLE" bad_bot
SetEnvIfNoCase User-Agent "Xaldon" bad_bot
SetEnvIfNoCase User-Agent "Xenu" bad_bot
SetEnvIfNoCase User-Agent "Yeti" bad_bot
SetEnvIfNoCase User-Agent "YottosBot" bad_bot
SetEnvIfNoCase User-Agent "Zeus" bad_bot
SetEnvIfNoCase User-Agent "Zyborg" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

1
garry
не в сети 6 часов
На сайте с 04.01.2014
Участник
Тем 146
Сообщения 2933
9
19:35

Этот вариант я на smf в 2009 году постил))

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Indy Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC Web Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web Image Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F,L]

Забанить всех и забыть))

Редакции сообщения
01.02.2018 19:35garryПричина: не указано
0
Lev
не в сети 4 года
На сайте с 23.06.2015
Участник
Тем 85
Сообщения 317
10
16:07

Пока я пытаюсь понять как добавить паука в бан в htaccess, он вчера довел сайт до пика в 60cp,

Вы не можете просматривать опубликованные ссылки

Preci сказал(а)
плагин для статичного кеширования страниц установить и все, хоть тысячи этих роботов пусть будут

У меня одно время был установлен какой то плаг по типу WP Cache, но было не мало проблем с отображением контента. Давно было, уже и не припомню, почему удалил.

garry Первый код вставил и все норм, второй валит сайт. По этой же причине я не смог добавить вчерашнего паука в htaccess. В итоге как-то добавил, но не факт, что правильно.

garry сказал(а)

Главное что бы сайт работал после вставки)

Вроде работает ))

Всем спасибо за участие. Продолжаю разбираться.

Редакции сообщения
02.02.2018 16:09LevПричина: не указано
0
Вы не имеете права на публикацию сообщений в этой теме