Robots Meta Tag

Robots Meta Tag es una herramienta de control en la optimización de sitios web para la gestión de la indexación. A diferencia del archivo Robots.txt, que define la accesibilidad para todo el dominio, el Robots Meta Tag establece una condición de rastreo para URL individuales.

‍

¿Dónde está Robots Meta Tag?

Como toda la información importante para el bot del motor de búsqueda, el Robots Meta Tag se almacena en el Header del sitio web. Es fácil de encontrar en el código fuente. Se trata de una etiqueta HTML especial que se inserta en la sección head de una página web e indica a los rastreadores web (también llamados arañas) cómo tratar la página.

Es existen varias instrucciones que pueden utilizarse en Robots Meta Tag , entre ellas "noindex", que indica a los rastreadores que no incluyan la página en su índice, "nofollow", que les indica que no sigan los enlaces de la página, y "noarchive", que les indica que no creen una copia en caché de la página.

‍

‍

El uso de Meta Tags Robots es crucial para la gestión de la indexación, ya que dan instrucciones específicas a los rastreadores a nivel de URL. Sin embargo, si busca una forma de evitar que se rastreen secciones del sitio web en todo el dominio, puede utilizar el archivo Robots.txt.