Respuesta libre de regalías de Google a HEVC: una mirada a AV1 y el futuro de los códecs de video

Hace casi 5 años, Google lanzó por primera vez VP9, ​​el códec de video libre de regalías que tenía como objetivo reemplazar H.264 como el códec principal para la transmisión en línea y el consumo de medios. Si bien VP9 no fue completamente exitoso en esa tarea, sentó las bases para el códec de próxima generación de Google, AOMedia Video 1 (AV1), que parece extremadamente prometedor.

Cuando se lanzó VP9 por primera vez, había dudas sustanciales sobre cómo le iría al próximo códec HEVC, que estaba respaldado por los mismos grupos que condujeron a la popularidad de H.264 sobre TrueMotion VP3 de On2, Theora de Xiph, VC-1 de Microsoft y muchos otros. . Y, sin embargo, aquí estamos 5 años después, y VP9 ha conquistado el mundo. Si bien HEVC no ha podido encontrar soporte de software, ya que Edge es el único navegador de Internet importante que lo admite (e incluso entonces, solo en ciertos procesadores), VP9 ahora está integrado en todos los navegadores web modernos, excepto Safari, y su naturaleza libre de regalías tiene ha sido un factor clave en la creación de esa situación.

Para enviar un producto con soporte HEVC, debe adquirir licencias de al menos cuatro grupos de patentes (MPEG LA, HEVC Advance, Technicolor y Velos Media), así como numerosas otras compañías, muchas de las cuales no ofrecen términos de licencia estándar (en lugar de exigirle que negocie términos), lo que potencialmente puede costar cientos de millones de dólares (y eso es después de los recientes recortes drásticos a las tarifas de regalías HEVC). Si bien esas elevadas regalías ya eran problemáticas para productos como Google Chrome, Opera, Netflix, Amazon Video, Cisco WebEx Connect, Skype y otros, excluyen completamente HEVC como una opción para proyectos como Mozilla Firefox, ambos a nivel económico (Firefox simplemente no puede permitirse el lujo de desperdiciar cientos de millones de dólares en regalías y cientos de horas hombre negociando todos los acuerdos de licencia necesarios), en un nivel práctico (Firefox necesita estar libre de regalías para enviar en muchos proyectos de software libre), y en un ideológico nivel (Mozilla cree en una web libre y abierta, y eso no es posible si promueve estándares gravados con patentes).

Esos problemas impidieron que Firefox (y Chromium) incluso incluyeran la reproducción nativa H.264 en muchas plataformas hasta hace un par de años (ya que todavía requiere un complemento en Linux), y probablemente evitarán que Firefox admita HEVC hasta después de que expiren sus patentes en el 2030 (o posiblemente incluso más tarde). Incluso hasta el día de hoy, Firefox solo es compatible con H.264 de forma nativa gracias a que Cisco ofrece pagar todos los costos de licencia de Mozilla a través de OpenH264, a fin de estandarizar H.264 para la transmisión en todo el mercado hasta que el códec de la próxima generación esté listo.

//www.xda-developers.com/files/2017/05/VP9-vs-VP8-vs-AVC-vs-HEVC-compression-artifact-comparison.webm

Comparación de artefactos de compresión en VP9, ​​VP8, AVC y HEVC, creado por Flugaal

Y eso abrió la puerta para VP9. Al estar libre de regalías, VP9 pudo implementarse en cualquier plataforma o servicio que lo quisiera, y también está experimentando un importante soporte de aceleración de hardware. Más allá de que Youtube lo use en cualquier dispositivo que pueda soportarlo (ya que el uso de ancho de banda reducido es un gran ahorro de costos para Youtube), el contenedor WebM (que admite video y audio VPx en Opus o Vorbis) también está reemplazando .gifs con videos silenciosos que son sustancialmente más pequeños en sitios como imgur y gfycat, se está utilizando en toda Wikipedia, ha sido adoptado por Skype (que fue la fuerza impulsora del desarrollo de Opus), e incluso está siendo adoptado por Netflix (comenzando con sus descargas para verlas sin conexión), y pasar a su transmisión regular en el futuro).

Sin embargo, VP9 solo no fue suficiente . Google quiere una compresión aún mejor, especialmente para Youtube y Duo, donde un pequeño aumento en la compresión de video puede generar grandes ahorros de costos y una mejora importante en la experiencia del usuario. Así que Google elaboró ​​un plan para actualizar rápidamente su línea de códec VPx, como lo hacen con Chrome y algunos de sus otros productos. Google anunció que planeaban lanzar VP10 en 2016, y luego lanzaría una actualización cada 18 meses para garantizar una progresión constante. Llegó al punto en que Google incluso comenzó a lanzar código para VP10, y de repente Google anunció la cancelación de VP10, y formó la Alianza para Medios Abiertos (AOMedia).

A pesar de que HEVC y VP9 son los dos códecs de próxima generación más populares, no fueron los únicos. Cisco estaba desarrollando Thor para su uso en sus productos de videoconferencia, y Xiph estaba desarrollando Daala (un códec diseñado para ser sustancialmente diferente de todos los códecs anteriores, para evitar cualquier posibilidad de reclamos de patentes). Los tres códecs (Thor, Daala y VP9 / VP10) parecían bastante prometedores, pero los esfuerzos divididos estaban sofocando su desarrollo y adopción, por lo que las tres organizaciones se unieron y fusionaron sus códecs en uno (AV1), y crearon la Alianza para Medios abiertos para promover el desarrollo y la adopción de este códec conjunto. AV1 tiene como objetivo tomar las mejores partes de cada uno de esos tres códecs y combinarlos en un paquete libre de regalías que cualquiera puede implementar.

Si bien está tomando algún tiempo fusionar Thor, Daala y VP10 juntos, la primera versión beta pública para AV1 lanzada a mediados de 2016, se espera que el flujo de bits finalice más adelante este año, y parece que la Alianza para los Medios Abiertos se está preparando hasta promover AV1. Algunos de los desarrolladores involucrados están comenzando a dar charlas públicas al respecto (como esta en FOSDEM) y parece que Google puede estar promocionándolo en Google I / O esta semana.

Esquemas de partición en forma de T, uno de los muchos avances en AV1

Ese soporte tampoco proviene solo de Google. Alliance for Open Media incluye a todos, desde diseñadores de procesadores (AMD, ARM, Broadcom, Chips & Media, Intel, Nvidia, etc.) hasta desarrolladores de navegadores (Google, Microsoft y Mozilla) hasta servicios de transmisión y videoconferencia (Adobe, Amazon, BBC R&D, Cisco, Netflix, Youtube, etc.). Se espera que esas compañías aporten su fuerza sustancial para implementar el soporte AV1, y se espera que los primeros servicios de transmisión estén listos en solo 6 meses después de que se finalice el formato de flujo de bits, y se espera que los primeros decodificadores de hardware estén listos en 12 meses. Eso por sí solo traerá un soporte de hardware sustancial para AV1 con bastante rapidez, sin embargo, si todo se alinea, incluso podemos ver una aceleración parcial del hardware respaldada a algún hardware ya existente, como lo que sucedió con VP9, ​​que sería un gran impulso para la compatibilidad.

La transmisión de video es una porción masiva del tráfico total de Internet, e incluso una mejora del dos por ciento en la compresión puede tener efectos masivos tanto en la red en general como en la experiencia del usuario para esa aplicación específica. AV1 y Opus permitirán tener video de calidad decente en conexiones de menor rendimiento (abriendo la transmisión de video para más situaciones y más mercados), y permitirán una calidad aún mejor que antes en conexiones de alto rendimiento. Ambos están diseñados teniendo en cuenta el uso en redes celulares, con AV1 y Opus trayendo mejoras masivas en lo bien que se escalan a medida que cambian las velocidades de conexión, sin mencionar las resoluciones más altas, velocidades de cuadros más altas, espacio de color expandido, soporte HDR (que será será vital para servicios como Netflix, Youtube y Amazon Video para aprovechar al máximo las nuevas pantallas en dispositivos como el Samsung Galaxy S8 y el LG G6, y este último ahora puede aprovechar el soporte HDR recientemente agregado de Netflix en dispositivos móviles ) y una menor latencia que habilitarán cuando se combinen en el contenedor de WebM.

Por supuesto, los grupos que promueven HEVC no se quedarán de brazos cruzados mientras esto sucede. Ya han comenzado a hacer amenazas sobre iniciar un litigio de patentes contra AV1 una vez que se lance, y la Alianza para los Medios Abiertos hará todo lo posible para asegurarse de que no suceda. Están realizando una extensa revisión del código legal de AV1 para asegurarse de que no infrinja ninguna patente en poder de MPEG LA, HEVC Advance, Technicolor, Velos Media y otros. Esa forma de revisión de código fue altamente exitosa para VP8 y VP9, ​​los cuales sobrevivieron a todos los desafíos legales. Se consideró que las acciones de MPEG LA contra VP8 y VP9 posiblemente no tienen ninguna base legal y, en cambio, son puramente anticompetitivas. El DoJ estaba investigando las acciones de MPEG LA hasta que acordaron abandonar la demanda y dar permiso a Google para sublicenciar el conjunto de patentes de MPEG LA a cualquier usuario de VP8 o VP9. Si bien es probable que veamos intentos similares para detener AV1, el conjunto de patentes sustancialmente ampliado de Google y el número sustancialmente mayor de compañías que respaldan el códec (gracias a la Alianza para los Medios Abiertos) deberían recorrer un largo camino para garantizar que se traten en breve orden.

Realmente es emocionante ver las mejoras que AV1 está trayendo a la codificación de video, especialmente porque es libre de regalías. El soporte masivo que está recibiendo (incluso antes del lanzamiento) también significará grandes cosas para el futuro de la transmisión de video y la grabación local. Las mejoras de AV1 traerán una mejor transmisión en vivo de eventos, mejor video chat (a través de WebRTC), archivos más pequeños para almacenamiento local, calidad nunca antes vista para transmisión de video (como HDR 4k de alta calidad mientras está en una red celular) y potencialmente otros usos que Todavía no hemos pensado, especialmente cuando se combina con las velocidades mejoradas de las redes móviles 5G y WiFi 802.11ax. Lo mejor de todo, AV1 es solo el comienzo. Google tenía planes para lanzamientos rápidos para VPx con el fin de ver mejoras constantes (con dispositivos que usan la etiqueta de video HTML5 para recibir la versión de más alta calidad que admiten), y es posible que no tengamos que esperar mucho tiempo antes de ver hablar de un incremento actualizar a AV2.


¿Cómo ha sido su experiencia con los códecs de la generación actual?