Generador de Robots.txt

Generador de Robots.txt

Cree un archivo robots.txt personalizado en segundos y controle a los rastreadores de los buscadores.

Leave blank if you don't have.

Google
Google Image
Google Mobile
MSN Search
Yahoo
Yahoo MM
Yahoo Blogs
Ask/Teoma
GigaBlast
DMOZ Checker
Nutch
Alexa/Wayback
Baidu
Naver
MSN PicSearch

The path is relative to the root and must contain a trailing slash "/".

Su archivo robots.txt es lo primero que busca un motor de búsqueda al visitar su sitio. Le indica a Google a dónde puede ir y qué debe ignorar. Si se equivoca, puede ocultar todo su sitio de los resultados de búsqueda sin querer. Si lo hace bien, evita que su servidor realice trabajo inútil.

La mayoría de los desarrolladores tratan este archivo como algo secundario. Copian una plantilla de un foro cualquiera y se olvidan de ella. Es una apuesta arriesgada. Una regla incorrecta en el archivo robots.txt puede bloquear sus archivos CSS o JS, lo que hace que su sitio se vea roto para Googlebot. Tome el control y genere un archivo que realmente funcione con la estructura de su sitio.

Por qué es importante su archivo Robots.txt

Al comienzo de mi carrera, quise limpiar los resultados de búsqueda de mi sitio. Utilicé una regla «noindex» en mi archivo robots.txt para una carpeta que creía innecesaria. No me di cuenta de que también había bloqueado los scripts de navegación principales del sitio. En dos días, mi sitio aparecía en blanco en los resultados de búsqueda. Mi tráfico se desplomó hasta que corregí el error. Desde ese día dejé de ver el archivo robots.txt como un simple documento de texto y empecé a considerarlo el controlador de tráfico de todo mi negocio.

El Generador de Robots.txt de 1seotools.net le ofrece un punto de partida seguro. No tiene que preocuparse por la sintaxis ni por las barras olvidadas. Solo seleccione qué desea permitir o bloquear y la herramienta crea el código. Mantiene sus instrucciones limpias y legibles para cualquier rastreador que visite su sitio.

Banner del Generador de Robots.txt con lupa y símbolo de llave

Controle a los rastreadores de los buscadores y proteja los datos sensibles de su sitio con un archivo robots.txt personalizado.

Cómo utilizar el generador

Usar la herramienta es rápido. Abra la página del generador y verá una lista de carpetas comunes del sitio. Seleccione las reglas que se aplican a su sitio. Puede permitir el acceso a todos los rastreadores o restringir algunos en concreto. La herramienta escribe las reglas a medida que usted hace clic.

Paso 1: Defina sus rutas

Añada las carpetas que desea ocultar. Sea preciso. Si oculta una carpeta, asegúrese de no bloquear los archivos que hacen que su sitio luzca bien. Pruebe sus reglas antes de subir el archivo a su servidor.

Paso 2: Guarde y suba el archivo

Descargue el archivo y guárdelo como «robots.txt». Súbalo a su directorio raíz. Eso es todo lo que necesita para establecer las reglas de su sitio.

Ventajas de un archivo Robots personalizado

Un archivo personalizado mantiene limpios los registros de su servidor. Evita que los rastreadores desperdicien ancho de banda en páginas de búsqueda, formularios de inicio de sesión o archivos temporales de administración. Esto permite que Google concentre su atención en su mejor contenido. Hace que su sitio sea más rápido y garantiza que cada visita de un rastreador sea útil.

Preguntas frecuentes: reglas de Robots.txt

¿Robots.txt bloquea páginas en los resultados de búsqueda?

No. Solo impide que el rastreador visite la página. Si otro sitio enlaza a su página, Google aún podría mostrarla. Si desea que una página quede fuera de los resultados de búsqueda, utilice en su lugar la etiqueta meta «noindex». Lea la guía oficial de Google para entender la diferencia entre bloquear y aplicar noindex.

¿Debo ocultar mi página de inicio de sesión?

Sí. No hay motivo para que Google indexe su formulario de acceso. Ocultarlo hace que su área de administración sea más segura y ahorra recursos de rastreo.

¿Es seguro usar esta herramienta?

Sí. La herramienta solo genera texto. Usted decide dónde subirlo. Previsualice siempre el archivo antes de guardarlo en su servidor en producción.

¿Qué pasa si bloqueo algo por error?

Verá errores en Search Console. Si ocurre, elimine la regla y suba un archivo nuevo. Siempre puede comprobar si sus páginas son accesibles cuando verifica sus bloqueos con el Comprobador de Estado HTTP.

Mantenga su sitio saludable

Su archivo robots.txt no es una configuración que se hace una sola vez. A medida que su sitio crece, es posible que sus reglas deban cambiar. Revise su archivo siempre que añada una sección grande o modifique la estructura del sitio.

Después de definir sus reglas de rastreo, su siguiente prioridad es asegurarse de que Google conozca la estructura de su sitio. Utilice el Generador de Sitemap XML para vincularlo con su mapa del sitio y no perder la indexación de ningún contenido nuevo y de calidad que publique.


Avatar

Hisham Fouad

CEO / Co-Founder

We build free, practical SEO, webmaster and YouTube tools for website owners and content creators. Have a suggestion? Get in touch through the Contact page.