Robots: qué pueden rastrear los buscadores
El archivo robots.txt indica a los buscadores qué partes de tu web pueden rastrear. En esta pantalla editas su contenido directamente.
Lo normal
Para la mayoría de webs basta con permitir todo y señalar el sitemap:
User-agent: * Allow: / Sitemap: https://www.miempresa.com/sitemap.xml
La línea Sitemap: se añade sola al generar el sitemap.
Cuidado
Disallow: /bloquea toda tu web en Google. No lo pongas salvo que quieras que no aparezca.- Bloquear una página en robots.txt no la hace privada: solo pide a los buscadores que no la rastreen.
Pulsa Generate para guardar los cambios.