Как блокировать плохих ботов

Перейдите в каталог с конфигурацией nginx:

cd /etc/nginx/vhosts-includes/

Создайте файл, в котором будут правила блокировки

mcedit bots-block.conf

Вставьте в этот файл текст:

if ($http_user_agent ~ SputnikBot|SiteExplorer|Crowsnest|PaperLiBot|peerindex|ia_archiver|Slurp|Aport|NING|JS-Kit|rogerbot|BLEXBot|MJ12bot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|AhrefsBot|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier|Mail.RU_Bot|DotBot|bingbot|MegaIndex.ru|MegaIndex|SimplePie|DomainCrawler|CCBot|SemrushBot|LingueeBot|ltx71|ltx71.com|DuckDuckGo-Favicons-Bot|Toweya.com|Aspiegelbot|PetalBot) { 
return 444;
}

Сохраните изменения

Перейдите в каталог с конфигурациями сайта /etc/nginx/vhosts/user/

Проверьте в конфигурации наличие  строчки include /etc/nginx/vhosts-includes/*.conf;

server {
server_name XXXXXX.XX;
charset UTF-8;
index index.php index.html;
disablesymlinks ifnotowner from=$rootpath;
include /etc/nginx/vhosts-includes/*.conf;
--------
}