Blokování špatných robotů

V poslední době se především kvůli LLM a AI objevilo několik nových robotů, kterým nedělá problém shodit libovolný server, tím že jej zahltí požadavky. Mezi nejběžnější patří například bot Bytespider.

Nastavení blokace

Zkusit blokovat konkrétní roboty můžete pomocí souboru robots.txt v adresáři s webem. Například:

User-agent: Bytespider
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: facebookexternalhit
Disallow: /
User-agent: meta-externalagent
Disallow: /

Někteří roboti nicméně mohou obsah robots.txt ignorovat.

Pokud tedy první metoda s blokováním nepomůže, tak na na začátek souboru .htaccess přidejte:

# blokovani spatnych robotu
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Bytespider|ClaudeBot|facebookexternalhit|meta-externalagent) [NC]
RewriteRule (.*) - [F,L]
</IfModule>