Gratis tool
Robots.txt generator
Voeg regels per user-agent toe en krijg direct een kant-en-klare robots.txt.
- Wat staat er in een robots.txt?: Per user-agent geef je aan welke paden een crawler wel en niet mag ophalen, eventueel met een crawl-delay en een verwijzing naar je sitemap.
- Waar let je op?: Een disallow houdt een pagina niet buiten de zoekresultaten als er links naar wijzen; daarvoor gebruik je een noindex.
Wat staat er in een robots.txt?
Per user-agent geef je aan welke paden een crawler wel en niet mag ophalen, eventueel met een crawl-delay en een verwijzing naar je sitemap.
Het bestand hoort in de hoofdmap van je domein te staan, op /robots.txt.
- Meerdere user-agents
- Allow- en disallow-regels
- Optionele crawl-delay
- Sitemap-URL
- Kopiëren of downloaden
Waar let je op?
Een disallow houdt een pagina niet buiten de zoekresultaten als er links naar wijzen; daarvoor gebruik je een noindex.
Controleer na plaatsing of het bestand bereikbaar is op je eigen domein.
Veelgestelde vragen
Waar plaats ik het bestand?
In de hoofdmap van je domein, zodat het bereikbaar is op /robots.txt.
Is crawl-delay verplicht?
Nee, het is optioneel en niet elke crawler houdt zich eraan.
Door SEOJuice-redactie, Linktool B.V.. Laatst inhoudelijk bijgewerkt: .
Robots.txt maken