Generatore Robots.txt

Crea un file robots.txt con un editor visuale. Aggiungi regole per diversi bot, blocca percorsi, imposta il crawl-delay e includi l'URL della sitemap.

100% nel browser. I tuoi dati non lasciano mai il tuo dispositivo.

Regola Bot #1

Output robots.txt

Come installare

1. Scarica o copia il contenuto del robots.txt

2. Caricalo nella directory root del tuo sito

3. Verifica su tuosito.com/robots.txt

4. Testa con lo strumento di test Robots di Google

Regole per Bot Multipli

Crea regole separate per diversi motori di ricerca e bot. Controlla Google, Bing, crawler IA e bot social media in modo indipendente.

Preset Rapidi

Preset con un clic per WordPress, Laravel, consenti tutto, blocca tutto e blocca bot di addestramento IA. Parti da un preset e personalizza.

Supporto Sitemap

Includi uno o più URL sitemap per aiutare i motori di ricerca a scoprire tutte le tue pagine. Supporta sitemap multiple per siti grandi.

Strumenti Correlati

🔗 Generatore di Slug 🔒 Calcolatore Chmod 📝 Convertitore Markdown in HTML

Hai bisogno di uno strumento personalizzato?

Sviluppo strumenti Laravel su misura, web app e piattaforme SaaS. Se hai bisogno di qualcosa oltre agli strumenti standard, parliamone.

Contatto

Domande Frequenti

Cos'è un file robots.txt?
Un file robots.txt dice ai crawler dei motori di ricerca quali pagine possono o non possono accedere sul tuo sito. Si trova nella root del tuo dominio (es. esempio.com/robots.txt) e usa direttive semplici per controllare il crawling.
Dove devo mettere il file robots.txt?
Posizionalo nella root del tuo sito web così che sia raggiungibile su tuosito.com/robots.txt. Caricalo via FTP, dal pannello di controllo hosting o includilo nel deployment. Per Laravel, mettilo nella directory public/.
Il robots.txt impedisce alle pagine di apparire su Google?
Non completamente. Il robots.txt previene il crawling, ma Google può comunque indicizzare l'URL se altre pagine lo linkano. Per prevenire completamente l'indicizzazione, usa il meta tag noindex o l'header X-Robots-Tag.
Cos'è il crawl-delay?
Il crawl-delay dice ai bot di aspettare X secondi tra le richieste per evitare il sovraccarico del server. Bing e Yandex lo rispettano, ma Googlebot lo ignora. Usa le impostazioni di velocità di scansione di Google Search Console.
Devo aggiungere la sitemap al robots.txt?
Sì! Aggiungere una direttiva Sitemap aiuta i motori di ricerca a scoprire la tua sitemap XML più velocemente. È particolarmente utile se non l'hai inviata manualmente tramite Google Search Console o Bing Webmaster Tools.