robots.txt - questa è la ragione
Se stai gestendo un sito web, probabilmente hai già scoperto un file chiamato robots.txt nel tuo programma FTP. Puoi scoprire cosa c'è dietro questo file di testo e perché è importante in questo suggerimento pratico.
robots.txt - Requisiti per i motori di ricerca
Ogni dominio dovrebbe avere un file robots.txt. È una parte importante del SEO.
- I motori di ricerca funzionano con i crawler. Questi sono piccoli programmi di lavoro indipendenti. Cercano contenuti in Internet. I siti Web vengono letti e indicizzati.
- Poiché i crawler funzionano in modo indipendente, sono anche chiamati robot o robot dei motori di ricerca.
- Il sito Web robots.txt indica a questi crawler quali directory possono e non possono essere lette.
- Per ottenere queste informazioni, i crawler cercano prima il dominio robots.txt. Per questo motivo, il file robots.txt deve trovarsi al livello più alto della struttura delle directory. Non deve essere spostato in una directory, quindi i bot non troveranno questi file di testo.
- In parole povere, robots.txt fornisce ai motori di ricerca la ricerca per indicizzazione di due informazioni. La voce "User-agent:" specifica per quale robot - questo è indirizzato in robots.txt come user-agent - si applica la seguente istruzione.
- Questo è seguito dalla voce "consentire:" o "non consentire:". Le directory e le sottodirectory che il bot è autorizzato a sottoporre a scansione e le directory che dovrebbe lasciare fuori durante l'indicizzazione sono quindi elencate dietro.
- La voce "consentire:" è meno importante. Qualunque cosa non espressamente esclusa viene comunque indicizzata dal robot.
- Alcuni CMS come Drupal creano robots.txt direttamente durante l'installazione. In WordPress puoi creare il file robots.txt usando un plugin.
Se ricevi il messaggio Google "Insolitamente molte richieste", puoi scoprire cosa puoi fare nel nostro prossimo suggerimento pratico.