Glosario de Informática e Internet
Definición de Robots en el glosario.
Programas que viajan en el Web con el fin de indexar páginas y localizar errores con el fin de alimentar a los buscadores. Estos programas, que comúnmente se les llaman BOTS, son enviados y mantenidos por los motores de búsqueda.
El más conocido es GoogleBot, de Google, aunque cada motor de búsqueda tiene sus propios bots. Cada uno consiste en un software y miles de servidores que rastrean toda la Internet bajando y guardando todas las páginas que encuentran. El texto de cada página es "desarmado" y alojado en una base de datos relacional. En un proceso mucho más complejo que lo ahora explicado. Se debe correlacionar cada palabra (o grupos de palabras) con las direcciones [URLs] de las páginas.