GoogleBot es el robot de búsqueda usado por Google para rastrear o crawlear las diferentes webs, ver su contenido, clasificarlo y, finalmente, indexarlo en sus bases de datos de rankings de búsqueda.
Googlebot no sólo tiene la capacidad de rastrear e indexar las páginas web de internet, sino que también es capaz de leer y extraer información de otros documentos almacenados en internet, sin importar el formato que tengan (.pdf, .doc, .xls, etc.).
El bot de Google funciona a través de un algoritmo que se encarga de asignar las webs que va a rastrear y establecer la frecuencia y presupuesto de rastreo con la que ha de efectuar el crawling, aumentándola según estime oportuno. De ese modo, a través de la navegación Googlebot encuentra nuevos enlaces y, por tanto, nuevos sitios para ir añadiendo al las SERP o resultados de búsqueda.
Esto significa que si por lo tanto quieres que los bots indexen tu página web y sus contenidos, únicamente es necesario que alguna otra web tenga un enlace a la tuya. Asimismo, siempre puedes enviar la URL de forma manual a Google, aún cuando esto no te asegura nada acerca de que Googlebot rastree dicha página web.
Si un webmaster no desea que su página sea analizada por un bot, ya sea Googlebot o cualquier otro robot, puede hacer uso del archivo robots.txt, el cual impide que estos analicen una o varias páginas o incluso la totalidad de la página web.
Otras definiciones: Google bot, bot de Google