- Recorren las páginas recopilando información sobre los contenidos de estas. Cuando se busca una información en los motores, ellos consultan su base de datos y presentan resultados clasificados por su relevancia.
- Si consideran que una web es importante para el usuario, tienden a registrarlas todas. Si no la consideran importante, sólo almacenan una o más páginas.
- Cada cierto tiempo, los motores revisan las webs, para actualizar los contenidos de su base de datos, lo que garantiza que los resultados de la búsqueda estén siempre actualizados.
- Se suelen dividir en tres partes. Los programas que exploran la red -spiders-, los que construyen la base de datos y los que utiliza el usuario, el programa que explora la base de datos.
- Algunos de los buscadores que utilizan Spiders: Google, MSN Search, AltaVista, Hotbot
Aqui, pasamos una URL, con informacion de un Spider ( Smart and Simple Web Crawler v1.3 ) y en ella también podemos descargarnoslo: https://crawler.dev.java.net/ (La web esta en Inglés)
Google utiliza un spider (googlebot) que recopila documentos de la web para crear un índice en que se puedan realizar búsquedasen su web. Para más información visiten esta web: http://www.webtaller.com/maletin/articulos/googlebot-rastreador-web-google.php