AnTuTu lanza un punto de referencia para probar el rendimiento de inteligencia artificial de los teléfonos inteligentes

En los últimos años, cada vez más empresas se centraron en la IA (Inteligencia Artificial) como un medio para distinguir su producto de la competencia. Los usos de la IA van desde la comprensión de comandos de voz hasta el reconocimiento de escenarios y la ejecución de órdenes directas, lo que hace necesario reducir la fricción entre un cliente y un servicio. Debido a su creciente popularidad, la IA ahora se usa ampliamente como una palabra de moda, y ya es hora de que se configure algún sistema de medición de esta funcionalidad.

AnTuTu, conocido por su popular aplicación de evaluación comparativa, se ha encargado de proporcionar un estándar cuantificable para que todos juzguen la diferencia en el rendimiento de IA de diferentes plataformas. Para establecer las bases para este propósito, AnTuTu ha trabajado con los fabricantes de chips para lanzar una aplicación de evaluación comparativa llamada "Revisión AI" que se enfoca en medir el rendimiento de inteligencia artificial de los teléfonos inteligentes.

Descargar el Benchmark de revisión de IA de AnTuTu

La publicación de blog de AnTuTu para AI Review comienza señalando las dificultades para medir algo tan vasto como la Inteligencia Artificial. Actualmente en el segmento de teléfonos inteligentes, no existe ningún estándar unificado para la IA, lo que a su vez ha llevado a una situación en la que cada fabricante de chips tiene su propia comprensión e implementación de la IA. Qualcomm maneja algunas operaciones de IA a través del Hexagon DSP; El HiSilicon de Huawei lo maneja a través de una NPU independiente; Samsung y MediaTek también manejan operaciones de IA a través de chips dedicados denominados NPU y APU respectivamente. Esta situación se complica aún más por la sinergia entre hardware y software, que es crucial para un rendimiento efectivo de la IA. Cada proveedor proporciona su propio SDK para AI: Qualcomm tiene SNPE, MediaTek tiene NeuroPilot, HiSilicon tiene HiAI, y así sucesivamente.

El punto de referencia de AI Review de AnTuTu se divide en dos subcategorías: Clasificación de imágenes y Reconocimiento de objetos. La prueba de clasificación de imágenes revisa los datos de prueba que comprenden 200 imágenes y se basa en la red neuronal Inception v3, mientras que la prueba de reconocimiento de objetos revisa un video de 600 cuadros y se basa en la red neuronal SSD MobileNet. Estas redes neuronales se traducen a la red neuronal que es compatible con el fabricante a través del SDK proporcionado por el proveedor. Si el chip no admite algoritmos relacionados con la IA, la aplicación de referencia utiliza TFLite para la evaluación comparativa, cuyos resultados AnTuTu advierten a sí mismos como insatisfactorio y poco confiable.

La puntuación de referencia está directamente relacionada con la velocidad y la precisión. Si la precisión se cambia por velocidad, AnTuTu asigna penalizaciones a la puntuación. Esto desalentaría las trampas de referencia de inteligencia artificial que habrían dependido simplemente de proporcionar resultados rápidos pero incorrectos.

AnTuTu también ha establecido algunas observaciones especiales para el uso de su aplicación. Es poco probable que las plataformas que usan el mismo procesador de IA tengan grandes brechas de puntuación, ya que el punto de referencia no solo prueba el rendimiento, sino que se centra en el rendimiento de la IA . Samsung aún no ha lanzado su AI SDK, y HiSilicon está utilizando TFLite para ciertas funciones, lo que significa que sus puntajes serán bajos hasta que se mejoren esas situaciones. La versión básica de Android del dispositivo también tendrá un efecto en el puntaje ya que Google mismo ha estado optimizando el soporte de AI a nivel de sistema.

Incluso desde la propia publicación de blog de AnTuTu, está claro que el objetivo de medir el rendimiento basado en IA puede no ser posible simplemente reduciéndolo a un número. Hay muchas variables involucradas en la computación basada en IA, que está agregando otra capa de complejidad a la interacción ya compleja entre diferentes soluciones de hardware y software. La puntuación numérica singular que saldría de una actividad de evaluación comparativa no haría justicia a los matices involucrados en el mundo de la IA. Entonces, si bien puede ver su puntaje y sentir un orgullo monetario, sepa que todavía estamos en las etapas relativamente tempranas de la IA, y aún más, de la evaluación comparativa de la IA.

Si está buscando leer más sobre inteligencia artificial, evaluación comparativa de inteligencia artificial y los desafíos involucrados, consulte nuestra entrevista con Travis Lanier de Qualcomm y Gary Brotman y Ziad Asghar.

Fuente: AnTuTu