Perché ne parliamo
Quando un cliente chiede a ChatGPT, Perplexity o Gemini «qual è un buon dentista a Bologna?», la risposta si appoggia a pagine web lette da programmi automatici, i crawler. Il file robots.txt, nella radice del tuo sito, è il posto dove si dice a questi programmi cosa possono leggere. Molti titolari non l'hanno mai aperto; alcuni scoprono che qualcuno (un plugin, un'agenzia precedente, l'hosting) ha scritto al loro posto regole con effetti che non volevano.
Per chi vuole essere citato dalle risposte AI, la domanda utile non è «blocco o non blocco?», ma: quale crawler fa cosa, e cosa perdo se lo escludo?
Chi sono i crawler, uno per uno
OpenAI. La documentazione ufficiale distingue tre agenti1:
- OAI-SearchBot serve a far comparire i siti nei risultati di ricerca di ChatGPT. È controllato dal robots.txt.
- GPTBot raccoglie contenuti per addestrare i modelli di base. Escluderlo indica che il tuo contenuto non deve servire all'addestramento.
- ChatGPT-User agisce quando una persona, in ChatGPT, chiede di visitare una pagina. OpenAI scrive che, trattandosi di azioni avviate dall'utente, le regole del robots.txt potrebbero non applicarsi.
OpenAI precisa anche che si può consentire OAI-SearchBot per comparire nei risultati e al tempo stesso vietare GPTBot1. È la configurazione che più spesso ha senso per un'attività locale: visibile nelle risposte, non disponibile come materiale di addestramento. Dopo una modifica al file, OpenAI indica circa 24 ore perché i suoi sistemi si aggiornino1.
Google. Il token Google-Extended permette di gestire se i contenuti scansionati possono essere usati per addestrare i modelli Gemini e per il grounding in Gemini Apps e nei prodotti Vertex AI. Google scrive che Google-Extended non incide sull'inclusione nella Ricerca e non è un segnale di ranking2. Per le funzioni di Ricerca come AI Overview valgono invece i controlli di sempre: se blocchi Googlebot, non compari nemmeno nelle pagine di Google.
Anthropic. Tre bot con compiti distinti: ClaudeBot per l'addestramento, Claude-SearchBot per indicizzare i contenuti e migliorare la qualità della ricerca, Claude-User per recuperare un sito quando un utente fa una domanda. Anthropic scrive di rispettare i segnali standard del robots.txt4.
Perplexity. PerplexityBot serve a mostrare e collegare i siti nei risultati di Perplexity e, secondo la documentazione, non è usato per addestrare modelli; rispetta il robots.txt. Perplexity-User interviene quando l'utente chiede una pagina e in generale ignora il robots.txt, perché è l'utente a richiedere il recupero5.
Microsoft. I controlli che Microsoft ha annunciato per Bing Chat (oggi Copilot) sono meta tag di pagina. NOCACHE consente di comparire nelle risposte mostrando solo URL, titolo e snippet; NOARCHIVE esclude la pagina dalle risposte, che non la collegano6. In entrambi i casi la pagina resta nei risultati normali di Bing. L'annuncio è del 2023: prima di agire conviene ricontrollare la documentazione Bing aggiornata.
Tre scelte realistiche per un'attività locale
- Apri tutto (nessuna regola). Adatta a chi vuole la massima presenza e non ha motivi di riservatezza.
- Visibile ma non per l'addestramento. Consenti i crawler di ricerca (OAI-SearchBot, PerplexityBot, Claude-SearchBot) e vieta quelli di addestramento (GPTBot, ClaudeBot, Google-Extended). Mantiene la possibilità di comparire nelle risposte.
- Blocca tutto. Hai il diritto di farlo, ma riduci le occasioni in cui un assistente può conoscerti e citarti. Per un ristorante o uno studio che vive di nuovi clienti è raramente la scelta giusta.
Non esiste una risposta universale: dipende da cosa pubblichi. Un listino pubblico e le pagine dei servizi sono fatti per essere letti; un'area clienti non dovrebbe nemmeno essere raggiungibile da chi non ha la password.
Come controllare in 15 minuti
- Apri
tuosito.it/robots.txtnel browser. Se vedi «404», il file non esiste: valgono i comportamenti predefiniti. - Cerca righe
User-agent:seguite daDisallow: /. Una regolaUser-agent: *conDisallow: /blocca tutti i crawler che rispettano il file, compresi quelli di ricerca. - Cerca i nomi dei bot elencati sopra. Se trovi un blocco che non hai deciso tu, chiedi a chi gestisce il sito perché c'è.
- Decidi quale delle tre scelte vuoi e fai scrivere le regole una sola volta, con un controllo dopo la pubblicazione.
- Ricontrolla dopo un mese: plugin di sicurezza e costruttori di siti possono riscrivere il file durante gli aggiornamenti.
Quello che il robots.txt non fa
- Non nasconde le pagine da Google. Google avverte di non usarlo per nascondere pagine dai risultati: un URL bloccato può comparire comunque, senza descrizione. Per escluderlo si usa
noindex3. - Non è sicurezza. Dipende dalla cooperazione dei crawler3.
- Non decide da solo se un'AI ti citerà. Lasciare la porta aperta è una condizione necessaria, non sufficiente: contano dati coerenti, dati strutturati, contenuti chiari e fonti terze. Nessuna impostazione garantisce una citazione.
- Non copre tutto. Gli agenti avviati dall'utente, come ChatGPT-User e Perplexity-User, possono non seguire le regole15.
Da dove cominciare
Prima di bloccare qualcosa, misura. Nell'articolo su come compare un'attività in ChatGPT trovi i fattori che contano, e in come misurare la visibilità sui motori AI il metodo per verificare se oggi compari. Se il tuo sito ha bisogno di una revisione tecnica, il servizio Sito Web parte da qui; per capire in quali risposte sei assente puoi chiedere l'analisi gratuita e vedere i motori AI che analizziamo.
Domande frequenti
Se blocco GPTBot sparisco da ChatGPT?
Non necessariamente. OpenAI usa crawler diversi per scopi diversi: GPTBot riguarda l'addestramento dei modelli, OAI-SearchBot la comparsa nei risultati di ricerca di ChatGPT. Si possono gestire separatamente, ma prima di toccare il file conviene controllare cosa c'è già scritto.
Il robots.txt protegge i contenuti riservati?
No. Google lo scrive chiaramente: funziona sulla cooperazione dei crawler e non è un sistema di sicurezza. Per documenti riservati servono password o accesso protetto.
Devo modificare il robots.txt anche se non ho mai aperto quel file?
Non è obbligatorio. Se il file non esiste o non nomina questi crawler, valgono le regole generali. Vale la pena aprirlo per capire se un plugin, un consulente o l'hosting hanno già inserito blocchi senza dirtelo.
Fonti
- OpenAI: crawler e user agent (OAI-SearchBot, GPTBot, ChatGPT-User) · developers.openai.com, consultata il 2 ottobre 2026
- Google Search Central: crawler comuni e Google-Extended · developers.google.com, consultata il 2 ottobre 2026
- Google Search Central: introduzione al file robots.txt · developers.google.com, consultata il 2 ottobre 2026
- Anthropic: i crawler di Anthropic e come bloccarli · support.claude.com, consultata il 2 ottobre 2026
- Perplexity: PerplexityBot e Perplexity-User · docs.perplexity.ai, consultata il 2 ottobre 2026
- Bing Webmaster Blog: opzioni per controllare l'uso dei contenuti in Bing Chat (settembre 2023) · blogs.bing.com, consultata il 2 ottobre 2026