Robots Meta Tag

Der Robots Meta Tag ist ein Steuerungstool in der Website Optimierung für das Indexierungsmanagement. Im Gegensatz zur Robots.txt Datei, die Accessibility für die gesamte Domain definiert, stellt der Robots Meta Tag eine Crawlingbedingung für einzelne URLs auf.

‍

Wo befindet sich die Robots Meta Tag?

Wie alle wichtigen Informationen für den Suchmaschinen Bot, ist der Robots Meta Tag im Header der Website hinterlegt. Man findet ihn unkompliziert im Quellcode wieder. Er ist ein spezielles HTML-Tag, das in den Kopfteil (Head-Bereich) einer Webseite eingefügt wird und den Web Crawlern (auch Spiders genannt) Anweisungen gibt, wie sie die Seite behandeln sollen.

Es gibt verschiedene Anweisungen, die in einem Robots Meta Tag verwendet werden können, einschließlich "noindex", das den Crawlern sagt, sie sollen die Seite nicht in ihren Index aufnehmen, "nofollow", das ihnen sagt, sie sollen keine Links auf der Seite folgen, und "noarchive", das ihnen sagt, sie sollen keine gecachte Kopie der Seite erstellen.

‍

‍

Die Verwendung von Robots Meta Tags ist für das Indexierungsmanagement entscheidend, da sie den Crawlern auf URL-Ebene spezifische Anweisungen geben. Sucht man jedoch nach einer Domain übergreifenden Möglichkeit, Website Bereiche nicht crawlen zu lassen, dann bietet sich die Robots.txt-Datei an.