AppleBot: Crawler web de Apple usado por Siri y Spotlight

Apple ha confirmado la existencia de un servicio de rastreo o crawling web, del cual se había rumoreado desde hacía tiempo allá por Noviembre. Apple ha decidido dar algunos detalles sobre sus operaciones en un documento de soporte. Según comenta el propio Apple, AppleBot es un software que rastrea la web y que ayuda a Siri y Spotlight. Ambos servicios ofrecen capacidades de búsqueda en sitios web, aunque hasta el momento se pensaba que Apple enrutaba las consultas a través de  un motor de búsqueda existente, como podría ser Google o Bing.

El AppleBot opera de manera similar al GoogleBot de Google. Apple aconseja a los desarrolladores que sigan las instrucciones de GoogleBot si no encuentran instrucciones específicas para el AppleBot. El propio Apple indica que si existen inquietudes o se tienen ciertas preguntas sobre el servicio se pongan en contacto con el centro de operaciones de red de Apple.

Figura 1: Primer tuit sobre el rumor del AppleBot

No queda claro cuanto tiempo lleva Apple trabajando con este crawling, pero parece que el AppleBot se encuentra en funcionamiento y en producción total. El documento de soporte apareció por primera vez en Febrero, pero solo muestra contenido del mes anterior. Apple ha indicado que el bloque de red 17.0.0.0 es el asignado a la empresa de Cupertino. El User-Agent utilizado por el bot es Mozilla / 5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit / 600.2.5 (KHTML, like Gecko) Version / 8.0.2 Safari / 600.2.5 (Applebot / 0.1).