Glossario · Definizione

Robot dei motori AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot)

I robot dei motori AI sono i crawler con cui OpenAI, Anthropic e Perplexity leggono le pagine web per mostrarle nelle risposte di ricerca. Si gestiscono con il file robots.txt, uno per uno.

crawler AIOAI-SearchBotClaude-SearchBotPerplexityBot

Cosa significa

Ogni azienda usa robot con nomi e compiti distinti. OAI-SearchBot serve a mostrare i siti nelle funzioni di ricerca di ChatGPT: OpenAI scrive che i siti che lo escludono non vengono mostrati nelle risposte della ricerca, anche se possono comparire come link di navigazione. Claude-SearchBot analizza le pagine per migliorare la qualità dei risultati di ricerca di Claude e, se disattivato, Anthropic avverte che la visibilità del sito può ridursi. PerplexityBot serve a far comparire e collegare i siti nei risultati di Perplexity e, scrive Perplexity, non viene usato per addestrare modelli di base.

Da non confondere con i robot per l'addestramento (GPTBot per OpenAI, ClaudeBot per Anthropic) e con quelli che agiscono su richiesta di una persona (ChatGPT-User, Claude-User). OpenAI precisa che le impostazioni sono indipendenti: si può consentire OAI-SearchBot e vietare GPTBot. Per ChatGPT-User, invece, le regole del robots.txt possono non applicarsi perché l'azione parte da un utente.

I cambiamenti nel robots.txt non sono immediati: OpenAI e Perplexity indicano fino a circa 24 ore. Prima di bloccare qualcosa conviene sapere cosa si perde. Vedi anche la pagina ChatGPT, ChatGPT Search, Perplexity e Claude.

Fonti

  1. OpenAI: Overview of OpenAI Crawlers
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
  3. Perplexity: Perplexity Crawlers
Esempi
  • Il file robots.txt consente OAI-SearchBot, Claude-SearchBot e PerplexityBot ma vieta GPTBot e ClaudeBot: il sito può comparire nelle ricerche senza essere usato per l'addestramento.
  • Una regola generale «Disallow: /» per tutti i robot, lasciata per errore dopo un restyling, rende il sito invisibile anche ai motori AI.
Analisi gratuita

L'AI consiglia la tua attività? Scopriamolo.

Analizziamo la tua presenza su Google, Maps e sui principali motori AI. Un consulente ti presenta risultati e priorità, senza impegno.

Usiamo i tuoi dati solo per ricontattarti e preparare l'analisi che hai richiesto: niente pubblicità, niente cessione a terzi. Dettagli nell'informativa privacy.