Google Feedfetcher, el Crawler de Google que pasa por alto Robots.txt

Google Feedfetcher es uno de los robots pasivos de Google, ya que se dedica a espiar la Información requerida por usuarios, a diferencia del Googlebot que se encarga de revisar todos los apartados de la web ingresando hasta a los lugares en los que no debería ingresar.

Este crawler lo que realiza es básicamente revisar las cosas que los usuarios deciden ingresar a las diversas herramientas de Google (como Google Reader, Google Personalized Homepage y similares) y entregar luego la información a las herramientas de Google que trabajan en base a Feeds de Sindicación.

Muchas veces es confundido con el actual crawler web de Google, el Googlebot, y muchos usuarios luego se quejan de que no les es posible accesar a ciertas webs desde alguna de las herramientas de Google, y eso se puede deber evidentemente a que el administrador de dicha web ha bloqueado el acceso a este robot.

Por consideración con tus Usuarios, permítelo navegar tu web Vale demás decir, que si este Bot no tiene permitido el acceso a tu Blog/Web, no podrás utilizar Feedburner…

Más Información | Google Feedfetcher