¿Qué es un crawler de IA (GPTBot, ClaudeBot, PerplexityBot)?
Un crawler de IA es el robot con el que un sistema de inteligencia artificial lee las webs, y se controla desde el archivo robots.txt del dominio. Conviene distinguir dos familias. Los bots de respuesta en vivo (OAI-SearchBot y ChatGPT-User de OpenAI, PerplexityBot, ClaudeBot de Anthropic) leen la web en el momento de responder a un usuario y pueden citarla como fuente. Los bots de recopilación para entrenamiento (GPTBot, CCBot de Common Crawl, Google-Extended) capturan contenido con el que se entrenan las futuras versiones de los modelos. Bloquear a los primeros elimina la posibilidad de ser citado hoy; bloquear a los segundos impide que los modelos de mañana conozcan la marca. Un fallo frecuente detectado en auditorías AEO: plantillas de robots.txt copiadas de otros sitios que bloquean crawlers de IA sin que la empresa lo sepa ni lo haya decidido.
¿Quieres saber si la IA menciona a tu empresa cuando alguien pregunta por tu sector?
Solicitar auditoría gratuita →