Sony IMX378: Desglose completo del sensor de Google Pixel y sus características

Descripción general de IMX378

Nos comunicamos con Sony para tratar de aprender un poco más sobre el sensor IMX378 que utilizan los próximos teléfonos Google Pixel y Pixel XL, así como el Xiaomi Mi 5S. Desafortunadamente, Sony todavía no pudo distribuir la hoja de datos para el sensor Exmor RS IMX378, pero fueron extremadamente útiles y pudieron proporcionarnos información inédita sobre el IMX378.

Primero, el nombre mismo estaba equivocado. A pesar de los rumores que afirman que sería parte de la línea Exmor R de sensores CMOS iluminados en la parte posterior (BSI) como el IMX377 antes de que se usara en el Nexus 5X y Nexus 6P, nuestro contacto en Sony nos informó que el IMX378 será considerado parte de la línea Exmor RS de Sony de sensores CMOS BSI apilados.

Si bien muchas cosas han permanecido igual desde el IMX377 hasta el IMX378, incluido el tamaño de píxel (1.55 μm) y el tamaño del sensor (7.81 mm), se han agregado un par de características clave. Es decir, ahora es un diseño apilado BSI CMOS, tiene PDAF, agrega la tecnología SME-HDR de Sony y tiene un mejor soporte para video de alta velocidad de cuadros (cámara lenta).

BSI CMOS apilados

La iluminación trasera por sí misma es una característica extremadamente útil que se ha convertido casi en estándar en los teléfonos inteligentes emblemáticos durante los últimos años, comenzando con el HTC Evo 4G en 2010. Permite que la cámara capture sustancialmente más luz (a costa de más ruido) al moviendo parte de la estructura que tradicionalmente se encontraba frente al fotodiodo en los sensores iluminados delante, detrás de él.

Sorprendentemente, a diferencia de la mayoría de las tecnologías de cámara, la iluminación trasera comenzó a aparecer originalmente en los teléfonos antes de las DSLR, gracias en gran parte debido a las dificultades para crear sensores BSI más grandes. El primer sensor BSI APS-C fue el Samsung S5KVB2 que se encontró en su cámara NX1 de 2014, y el primer sensor de fotograma completo fue el Sony Exmor R IMX251 que se encontró en el Sony α7R II del año pasado.

La tecnología BSI CMOS apilada va un paso más allá al mover más circuitos de la capa frontal al sustrato de soporte detrás de los fotodiodos. Esto no solo le permite a Sony reducir sustancialmente el tamaño del sensor de imagen (permitiendo sensores más grandes en el mismo espacio), sino que también le permite a Sony imprimir los píxeles y circuitos por separado (incluso en diferentes procesos de fabricación), reduciendo el riesgo de defectos, mejorando los rendimientos y permitiendo una mayor especialización entre los fotodiodos y los circuitos de soporte.

PDAF

El IMX378 agrega el enfoque automático de detección de fase, que los teléfonos Nexus del año pasado y el IMX377 no admitían. Permite que la cámara use de manera efectiva las diferencias en la intensidad de la luz entre los diferentes puntos del sensor para identificar si el objeto en el que la cámara está tratando de enfocar está delante o detrás del punto de enfoque, y ajusta el sensor en consecuencia. Esta es una gran mejora tanto en términos de velocidad como de precisión sobre el enfoque automático tradicional basado en contraste que hemos visto en muchas cámaras en el pasado. Como resultado, hemos visto una explosión absoluta de teléfonos que usan PDAF, y se ha convertido en una gran palabra de moda de marketing que se presenta como una pieza central del marketing de cámaras en toda la industria.

Si bien no es tan rápido de enfocar como el Dual Photodiode PDAF que tiene el Samsung Galaxy S7 (también conocido como "Dual Pixel PDAF" y "Duo Pixel Autofocus" ), que permite usar cada píxel para la detección de fase al incluir dos fotodiodos por píxel, la fusión de PDAF y el enfoque automático con láser debería ser una combinación potente.

Cuadros por segundo elevado

Últimamente se ha hablado mucho sobre las cámaras de alta velocidad de fotogramas (tanto para aplicaciones de consumo como para cine profesional). Ser capaz de disparar a velocidades de fotogramas más altas se puede usar tanto para crear videos increíblemente suaves a velocidad regular (que puede ser fantástico para deportes y otros escenarios de alta velocidad) como para crear algunos videos realmente interesantes cuando se ralentiza todo.

Desafortunadamente, es extremadamente difícil grabar video a velocidades de cuadro más altas, e incluso cuando el sensor de su cámara puede disparar a velocidades de cuadro más altas, puede ser difícil para el procesador de señal de imagen del teléfono mantenerse al día. Es por eso que mientras el IMX377 utilizado en el Nexus 5X y 6P podía grabar video de 720p a 300 Hz y video de 1080p a 120 Hz, solo vimos 120 Hz 720p del Nexus 5X y 240 Hz 720p del 6P. El IMX377 también era capaz de video de 4k a 60 Hz, a pesar de que los dispositivos Nexus se limitaban a 30 Hz.

Los teléfonos Pixel pueden llevar esto a video de 120 Hz a 1080p y video de 240 Hz a 720p gracias en parte a las mejoras relacionadas con el IMX378, que ve un aumento en las capacidades de hasta 240 Hz a 1080p.

El sensor también es capaz de disparar disparos en ráfaga de resolución completa más rápido, aumentando hasta 60 Hz a una salida de 10 bits y 40 Hz a una salida de 12 bits (en comparación con 40 Hz y 35 Hz respectivamente), lo que debería ayudar a reducir la cantidad de movimiento borroso y movimiento de la cámara cuando se usa HDR +.

SME-HDR

Tradicionalmente, HDR para video ha sido una compensación. Debes reducir la velocidad de fotogramas a la mitad o reducir la resolución a la mitad. Como resultado, muchos fabricantes de equipos originales ni siquiera se han molestado, con Samsung y Sony entre los pocos que lo implementan. Incluso el Samsung Galaxy Note 7 está limitado a grabación de 1080p a 30 Hz debido en parte al alto costo computacional del video HDR.

El primero de los dos métodos tradicionales principales para video HDR, que Red Digital Cinema Camera Company llama HDRx y que Sony llama Digital Overlap HDR (DOL-HDR), funciona tomando dos imágenes consecutivas, una más oscura y otra más clara, y fusionando juntos para crear un solo cuadro de video. Si bien esto le permite mantener la resolución completa de la cámara (y establecer diferentes velocidades de obturación para los dos cuadros separados), a menudo puede ocasionar problemas debido al intervalo de tiempo entre los dos cuadros (especialmente con objetos que se mueven rápidamente). Además, puede ser muy difícil para el procesador mantenerse al día, ya que con DOL-HDR, el ISP del teléfono maneja la fusión de los marcos separados.

El otro método tradicional, que Sony llama Binning Multiplexed Exposure HDR (BME-HDR), establece una configuración de exposición diferente para cada par de dos líneas de píxeles en el sensor para crear dos imágenes de media resolución al mismo tiempo, que luego se fusionan. en un marco HDR para el video. Si bien este método evita los problemas asociados con HDRx, es decir, una reducción en la velocidad de fotogramas, tiene otros problemas, específicamente la reducción en la resolución y los límites sobre cómo se puede cambiar la exposición entre los dos conjuntos de líneas.

La exposición espacialmente multiplexada (SME-HDR) es un nuevo método que Sony está utilizando para permitirles disparar HDR a la resolución completa y a la velocidad de fotogramas completa que el sensor es capaz de hacer. Es una variante de Exposición espacialmente variable que utiliza algoritmos patentados para permitir a Sony capturar la información de los píxeles oscuros y claros, que se organizan en un patrón de estilo tablero de ajedrez, e inferir la imagen de resolución completa para las imágenes de exposición oscura y clara.

Desafortunadamente, Sony no pudo darnos explicaciones más detalladas sobre el patrón exacto, y es posible que nunca puedan revelarlo: las empresas tienden a jugar sus cartas muy cerca de su pecho cuando se trata de tecnología de punta, como la que nosotros vea en HDR, incluso Google tiene su propio algoritmo patentado para fotos HDR conocido como HDR +. Sin embargo, todavía hay información disponible al público que podemos usar para reconstruir cómo se puede lograr. Shree K. Nayar, de la Universidad de Columbia (uno de los cuales fue en colaboración con Tomoo Mitsunaga, de Sony) ha publicado un par de artículos que contienen diferentes formas de usar la Exposición espacialmente variable, y diferentes diseños que pueden lograrlo. A continuación se muestra un ejemplo de un diseño con cuatro niveles de exposición en un sensor de imagen RGBG. Este diseño afirma ser capaz de lograr imágenes HDR de resolución completa de captura única con solo una pérdida de alrededor del 20% en la resolución espacial, dependiendo del escenario (el mismo logro que Sony afirma para SME-HDR).

Sony ya ha usado SME-HDR en un par de sensores de imagen, incluido el IMX214 que ha tenido mucha popularidad últimamente (se está utilizando en el Asus Zenfone 3 Laser, el Moto Z y el Xperia X Performance), pero es un nuevo Además del IMX378 en comparación con el IMX377 que se utilizó el año pasado. Permite que el sensor de la cámara produzca una resolución completa de 10 bits y video de 4k a 60 Hz con SME-HDR activo. Si bien un cuello de botella en otras partes del proceso dará como resultado un límite inferior, esta es una mejora fantástica sobre lo que el IMX377 fue capaz de hacer, y es una señal de las cosas buenas que vendrán en el futuro.

Una de las grandes mejoras del IMX378 sobre el IMX377 es que es capaz de manejar más procesamiento de imágenes en el chip, reduciendo la carga de trabajo del ISP (aunque el ISP aún puede solicitar los datos de imagen RAW, dependiendo de cómo el OEM decide usar el sensor). Puede manejar muchas cosas pequeñas como la corrección de defectos y la duplicación local, pero lo más importante, también puede manejar BME-HDR o SME-HDR sin tener que involucrar al ISP. Esa podría ser una gran diferencia en el futuro al liberar algunos gastos generales para el ISP en teléfonos futuros.

Queremos agradecer a Sony una vez más por toda la ayuda para crear este artículo. Realmente apreciamos los esfuerzos realizados por Sony para ayudar a garantizar la precisión y la profundidad de esta función, especialmente al permitirnos descubrir información previamente inédita sobre el IMX378.

Dicho esto, es realmente una lástima que sea tan difícil acceder a parte de esta información, incluso a la información básica del producto. Cuando las empresas intentan poner información en sus sitios web, a menudo puede ser bastante inaccesible e incompleta, en gran parte porque a menudo se trata como una preocupación secundaria de los empleados de la empresa, que están más centrados en su trabajo principal. Una persona dedicada que maneja las relaciones públicas puede hacer una gran diferencia en términos de hacer que este tipo de información esté disponible y accesible para el público en general, y estamos viendo a algunas personas tratando de hacer eso en su tiempo libre. Incluso en el propio artículo de Sony Exmor Wikipedia, donde en el transcurso de un par de meses una sola persona en su tiempo libre sentó la mayor parte de la base para llevarlo de un artículo casi inútil de 1, 715 bytes que había sido casi igual durante años, ~ Artículo de 50, 000 bytes que vemos hoy con 185 editores distintos. Un artículo que podría decirse que es el mejor repositorio de información sobre la línea de sensores Sony Exmor disponible en línea, y podemos ver un patrón muy similar en otros artículos. Un solo escritor dedicado puede marcar una diferencia sustancial en la facilidad con que los clientes pueden comparar diferentes productos y en qué tan educados están los consumidores interesados ​​sobre el tema, lo que puede tener efectos de largo alcance. Pero ese es un tema para otro momento.

Como siempre, nos preguntamos cómo afectarán estos cambios de hardware a los dispositivos mismos. Es evidente que no obtendremos video HDR 4k 60 Hz (y es posible que no obtengamos video HDR en absoluto, ya que Google aún no lo ha mencionado), pero el disparo más rápido de resolución completa probablemente ayudará sustancialmente con HDR +, y veremos el Las mejoras del sensor más reciente también se filtran en el teléfono de otras formas similares, pequeñas pero sustanciales.

Si bien DXOMark enumera que los teléfonos Pixel tienen un rendimiento ligeramente mejor que el Samsung Galaxy S7 y HTC 10, muchas de las cosas que dieron a los teléfonos Pixel ese pequeño liderazgo fueron importantes mejoras de software como HDR + (que produce resultados absolutamente fantásticos, y que DXOMark dedicó un total sección de su revisión a) y el sistema EIS especial de Google (que puede funcionar en conjunto con OIS) que muestrea el giroscopio 200 veces por segundo para proporcionar la mejor estabilización electrónica de imagen que hemos visto. Sí, los teléfonos Pixel tienen una gran cámara, pero ¿podrían haber sido aún mejores con OIS y Dual Pixel PDAF agregados? Absolutamente.

No me malinterpreten, como dije, los teléfonos Pixel tienen una cámara absolutamente impresionante, pero realmente no pueden culparme por querer más, especialmente cuando el camino hacia esas mejoras es tan claro (y cuando los teléfonos tienen un precio de precios emblemáticos completos, donde espera lo mejor de lo mejor). Siempre habrá una parte de mí que quiera más, que quiera una mejor duración de la batería, procesadores más rápidos, mejor duración de la batería, pantallas más brillantes y vívidas, altavoces más fuertes, mejores cámaras, más almacenamiento, mejor duración de la batería y, lo más importante, mejor duración de la batería (nuevamente). Dicho esto, los teléfonos Pixel tienen muchas características fantásticas pequeñas que podrían unirse para crear un dispositivo realmente prometedor, lo cual me emociona ver.