Lanzamiento de Qualcomm Spectra 380: primer ISP del mundo con IA integrada

Ayer en Hawai, en la Cumbre de Tecnología Snapdragon, se lanzó el tan esperado Qualcomm Snapdragon 855. Si bien el nuevo chip trae varios cambios sustanciales (desde un GPS significativamente más preciso hasta la primera versión WiFi de 2, 4 GHz en una década, hasta la conectividad celular 5G), la discusión sigue volviendo a las imágenes y las mejoras masivas que trae el Qualcomm Spectra 380.

Tradicionalmente, el ISP de la cámara se encargaría de transformar las salidas de color sin procesar de la cámara en algo que el resto del teléfono pueda usar para la visión artificial, pero a medida que el procesamiento de IA se ha vuelto más complejo, la integración con hardware especializado se ha vuelto crítica. Qualcomm dio los primeros pasos hacia esto con su Qualcomm Spectra 280, soporte de horneado para reducción de ruido multitrama y detección de profundidad directamente en el ISP, pero aún quedaba un largo camino por recorrer. Este año, Qualcomm da ese salto, integrando la aceleración de la visión por computadora del hardware directamente en el ISP Qualcomm Spectra 380, y creando lo que ellos llaman el primer CV-ISP del mundo.

El Qualcomm Spectra 380 eliminará los cuellos de botella en el proceso de procesamiento de imágenes y generará hasta 4 veces más ahorro de energía que las generaciones anteriores al realizar el procesamiento de visión artificial directamente en el propio ISP, eliminando la necesidad de activar la CPU, GPU y HSP para fotografías complejas Tareas de IA, y mejorando enormemente las capacidades de AR del procesador.

Esto significa que la detección de profundidad de hardware, la clasificación de objetos y la segmentación de objetos pueden suceder en tiempo real hasta 4k HDR 60Hz en el Qualcomm Snapdragon 855. Esto nos dará un reemplazo de objetos en vivo o de fondo en video en tiempo real, abriendo nuevos posibilidades para aplicaciones de realidad extendida (XR) con el chipset Qualcomm Snapdragon 855 tanto en teléfonos como en auriculares AR.

Sin embargo, las mejoras para el Qualcomm Spectra 380 no se detienen en AI y AR. Qualcomm puso mucho trabajo en el espacio de color y mejoras de brillo, agregando soporte para grabación de video HDR10 + completa, lo que permite grabar videos con mayor rango dinámico y espacios de color más amplios, para aprovechar al máximo las capacidades de los teléfonos y televisores modernos.

El nuevo ISP también ofrece una aceleración de hardware mejorada para el video VP9 y para el formato de imagen HEIF basado en HEVC, que puede ser un 50% más pequeño que los formatos de imagen más antiguos y brinda una funcionalidad ampliada (aunque anticipamos mucho la incorporación de aceleración de hardware para el AVIF basado en AV1, que con suerte estará disponible en años futuros)

El Qualcomm Spectra 380 también podrá manejar imágenes de mayor resolución que en años anteriores, con su tubería dual CV-ISP de 14 bits que admite captura simultánea de 22MP 30Hz en cámaras duales y captura de 48MP 30Hz con un solo sensor de imagen. Sin embargo, la tubería de lectura del sensor más rápida no se traduce a video en este caso, donde el Qualcomm Spectra 380 admite la misma 720p 480Hz nativa (sin usar caché en el sensor) que el Spectra 280.

Lo mejor de todo es que Qualcomm Spectra 380 puede continuar mejorando en el futuro, ya que su nuevo diseño modular de ISP brinda una nueva flexibilidad a la tubería de imágenes, abriendo el potencial para diferentes métodos de procesamiento para dominios de píxeles RAW y YUV.

¿Estás emocionado por la funcionalidad ampliada de IA en las cámaras? ¿Para qué esperas poder usar la visión artificial? ¡Cuéntanos en los comentarios a continuación!