Изменения
'''Плохие поисковые боты''' — вредоносные поисковые боты, которые способны существенно увеличить нагрузку на сайт и даже повалить его (в случае, если для его поддержки используется не совсем сильное железо). Так как данные боты не приносят позитивных результатов большинство вебмастеров рекомендуют блокировать их по умолчанию.
== Способы предохранения ==
Самый простой и проверенный способ защиты от поисковых ботов - ботов — блокировка их заходов на сайт, которая делается посредством правки файла .htaccess. Есть вариант ручной блокировки через консоль или (как вариант) через панель [[CloudFlare]], в случае, если сайт на этой панели висит.
Среди наиболее агрессивных ботов отмечаются [[Semrush]], [[AhrefsBot]], [[MJ12bot]], [[Detectify]], [[DotBot]], [[Riddler]], [[LinkpadBot]], [[BLEXBot]], [[FlipboardProxy]], [[aiHitBot]], [[trovitBot]].
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
</pre>
Для nginx следует использовать следующие строки, которые вносятся в конфигурационный файл:<pre># nginx configurationlocation / {if ($http_user_agent ~ "AhrefsBot"){return 403;}if ($http_user_agent ~ "MJ12bot"){return 403;}if ($http_user_agent ~ "Detectify"){return 403;}if ($http_user_agent ~ "dotbot"){return 403;}if ($http_user_agent ~ "Riddler"){return 403;}if ($http_user_agent ~ "SemrushBot"){return 403;}if ($http_user_agent ~ "LinkpadBot"){return 403;}if ($http_user_agent ~ "BLEXBot"){return 403;}if ($http_user_agent ~ "FlipboardProxy"){return 403;}if ($http_user_agent ~ "aiHitBot"){return 403;}if ($http_user_agent ~ "trovitBot"){return 403;}}</pre>В обоих случаях следует перезагрузить веб-сервер после сохранения изменений
{{Навигация|Интернет}}
[[Категория:Интернет]]
