El crawling o crawleo es un término que se refiere el recorrido que realiza una araña o crawler o los bots de indexación de los motores de búsqueda, con el fin de clasificare indexar las páginas de una web. El proceso de crawling abarca desde que comienza el rastreo de los robots hasta que termina su crawl budget o presupuesto de rastreo, tras haber pasado por todos los enlaces que se ha encontrado en su navegación por la web.
Esta indexación es indispensable para la visibilidad y el posicionamiento SEO de un sitio web, ya que es lo que va a determinar los rankings en los buscadores, por ello lo más importante es facilitar el crawling lo máximo posible para obtener un mejor posicionamiento.
Otras definiciones: crawleo, rastreo