Menú principal

jueves, 3 de octubre de 2013

Apple NO es un Mobile Benchmark Cheater

En el mundo de los dispositivos móviles existen una buena cantidad de benchmark, es decir, conjuntos de operaciones sintéticas destinadas a medir el rendimiento de un sistema, para comparar la calidad de los nuevos terminales que se van poniendo en el mercado. Muchos de esos benchmarks como Vellamo, Mozilla Kraken o GLBenchmark son ejecutados por analistas que quieren tener datos antes de evaluar el nuevo producto generado por una gran compañía en un documento técnico y, por supuesto, son utilizados como herramienta de marketing en medios de comunicación y eventos.

En teoría, el software del benchmark debe correrse en un terminal y éste debe ejecutarlo como si fuera un código más del sistema para que las mediciones sean correctas y representativas, si no, los datos serán falsos. Es como si cuando vas al médico a hacerte un chequeo, y éste decide medirte para poder calcular lo que deberías pesar, consumir de energía al día, etcétera, tú fueras y te pusieras de puntilla aprovechando un descuido.

Figura 1:  Terminales que (Y)es, detecta el Benchmark y cambia su setup

Pues como se puede ver en la tabla superior, casi todos los fabricantes de terminales, entre los que están HTC, Samsung o LG, detectan cuando se les está lanzando el benchmark, y cambian completamente el setup del dispositivo configurando las CPUs y todos los cores al máximo de frecuencia con el objeto de dar más rendimiento durante la ejecución del test. Es decir, dejan de funcionar como un smartphone o tablet para convertirse en un dispositivo configurado únicamente para ejecutar el test, lo que falsea los resultados.

Figura 2: Resultados obtenidos con el test de Mozilla Kraken (menos es mejor)

Cuando se le engaña al terminal, y este no detecta que el programa que está ejecutando es uno de los benchmarks, entonces se obtienen los resultados reales que la prueba desea medir. Entre los terminales probados por AnandTech, casi todos estaban haciendo alguna trampa con algún test, y solo Apple y Motorola han demostrado ir sin dopping a competir en estos Mobile Benchmarks. El resto, en mayor o menor medida han resultado ser cheaters.

3 comentarios:

  1. La comparación no es del todo correcta. En realidad no alteran nada que no exista ya. No se overclockean ni nada parecido, simplemente no están en modo "ahorro" para poder rendir al máximo.

    Es como si cuando vas al médico a hacerte un chequeo, y éste decide medirte para poder calcular lo que deberías pesar, consumir de energía al día, etcétera, tú fueras y, en vez de ir encorvado como vas normalmente, te pusieras erguido totalmente para que te midiese correctamente.

    ResponderEliminar
  2. @Eagle, ponerse ergido sería el equivalente a ponerse en modo óptimo. Lo que hacen aquí es detectar la regla de medir y ponerse de puntillas cepillándose la batería y los algoritmos de predicción, etc... Es ponerse de puntillas, lo quieras ver o no.

    Saludos!

    ResponderEliminar

Entrada destacada

Proteger tu cuenta de Google y de Gmail con Latch Cloud TOTP #Latch #Gmail #Google

La semana pasada se liberó la nueva versión de Latch y nuestro compañero Chema Alonso hizo un repaso de todo ello en su artículo Latch...

Otras historias relacionadas

Entradas populares