Los rastreadores (Webbot, Web Crawler(webbot, search engine bot, bot) son programas informáticos que realizan búsquedas independientes en Internet. Leen páginas web, sus contenidos y enlaces para almacenarlos, analizarlos e indexarlos. Los más conocidos son los rastreadores de los grandes motores de búsqueda. Se pueden utilizar rastreadores más pequeños con funciones comparables para nubes o sitios web personales. Los pasos exactos que realiza el programa se determinan antes de iniciar el rastreo. El nombre proviene del primer motor de búsqueda de uso público llamado WebCrawler y hace referencia al procedimiento de los programas. Se abren camino sistemáticamente por Internet de enlace en enlace hasta que encuentran una página sin enlaces o un bucle.
Crawler sind die Voraussetzung dafür, dass es SERPs gibt. Die ersten Versionen von Suchmaschinen entstanden Anfang der 90er-Jahre. Sie dienten zunächst dem schnellen Auffinden von Dateien und Ordnern in FTP-Verzeichnissen. Später durchsuchten die Programme Datenbanken, Archive und das Internet nach Informationen. Die Idee, Suchmaschinen-Ergebnisse nach Relevanz zu sortieren, stammt von den Entwicklern von Google.
Con la creciente importancia de Internet para fines de marketing, la clasificación de la propia presencia en Internet es cada vez más importante. Las páginas optimizadas para los motores de búsqueda son un factor decisivo a la hora de presentar la propia empresa, productos y servicios. Para que los clientes potenciales vean las páginas de la empresa en los primeros puestos de una consulta, el algoritmo del motor de búsqueda debe clasificar las páginas como actualizadas, relevantes y fiables.
Para que un sitio web se sitúe de forma óptima en Internet, debe ser rastreado e indexado por los principales motores de búsqueda. Los rastreadores sólo invierten un tiempo limitado en un sitio web, el llamado crawl budget. Es es importante ofrecer al programa las mejores condiciones técnicas posibles y una estructura optimizada para que capte la mayor parte posible de un sitio web. La longitud del texto, la distribución de las palabras clave y los enlaces externos e internos influyen en la clasificación. La importancia de cada uno de estos factores depende del algoritmo actual del motor de búsqueda y puede cambiar con la próxima actualización.
Es posible controlar la actividad de los rastreadores en el propio sitio web. Es ofrece la posibilidad de bloquear programas no deseados. Puede ser útil restringir las actividades de un rastreador web con noindex o nofollow a través del archivo Robots.txt. Estas URL no se tienen en cuenta en la evaluación global.
La interpretación y el análisis precisos del comportamiento de los rastreadores es una de las tareas más importantes del SEO técnico y forma parte de los servicios básicos de SEO. Mediante un software SEO especial se puede simular el comportamiento de rastreo de los robots. Esta es la base para el apoyo SEO y el desarrollo de una estrategia SEO.