Comment bloquer les crawlers IA qui pillent votre site sans vous demander la permission ?
Vous en avez marre de voir GPTBot, ClaudeBot et toute la bande de crawlers IA se servir sur votre site comme dans un buffet à volonté ? Perso, j’utilise Cloudflare qui propose des options pour ça directement mais tout le monde n’utilise pas ce service. Du coup ce projet
ai.robots.txt
est super pratique pour ceux qui gèrent leur propre serveur et qui veulent reprendre le contrôle sur ce qui se fait aspirer.