Il file robots.txt è un semplice file di testo utilizzato dai siti web per fornire indicazioni ai crawler (robot) dei motori di ricerca, come Googlebot o Bingbot, su quali aree del sito possono o non possono esplorare.
Normalmente si trova nella directory principale del dominio, ad esempio:
https://www.example.com/robots.txt
A cosa serve
Il suo scopo principale è gestire l'attività di scansione (crawling) del sito. Può essere utilizzato, ad esempio, per evitare che i motori di ricerca visitino sezioni che non è utile sottoporre a scansione, come:
- pagine amministrative;
- risultati di ricerche interne;
- directory tecniche;
- URL generati con determinati parametri;
- pagine duplicate o prive di interesse per i motori di ricerca;
- file o risorse che non devono essere sottoposti a crawling.
Normalmente si trova nella directory principale del dominio, ad esempio:
https://www.example.com/robots.txt
A cosa serve
Il suo scopo principale è gestire l'attività di scansione (crawling) del sito. Può essere utilizzato, ad esempio, per evitare che i motori di ricerca visitino sezioni che non è utile sottoporre a scansione, come:
- pagine amministrative;
- risultati di ricerche interne;
- directory tecniche;
- URL generati con determinati parametri;
- pagine duplicate o prive di interesse per i motori di ricerca;
- file o risorse che non devono essere sottoposti a crawling.
