Para Adobe este va a ser el año de la IA aplicada al vídeo. Es más que un propósito, es un plan que ya ha sido anunciado, aunque se espera que muchos de los avances más significativos no lleguen hasta finales de 2024. Sin embargo, ya tenemos un adelanto de cuáles van a ser los caminos a recorrer y la verdad es que parecen muy interesantes.
Los protagonistas de esta nueva trayectoria van a ser dos, el programa de edición de vídeo Premiere Pro pero de la mano de Firefly, la plataforma de inteligencia artificial de Adobe y no estarán solos ya que la compañía abre la posibilidad de que Premiere Pro incorpore modelos generativos de terceros.
Las nuevas herramientas de IA generativa que llegarán a Premiere Pro este año permitirán la inserción o eliminación de objetos en una escena o la ampliación de un clip existente. Estos nuevos flujos de trabajo de edición serán impulsados mediante Firefly que añadirá un modelo de vídeo a los ya existentes de imagen, vector, diseño y efectos de texto. Adobe sigue desarrollando los modelos de IA de Firefly en las categorías en las que tiene una gran experiencia, como imagen, vídeo, audio y 3D, e integrará estos modelos en Creative Cloud y Adobe Express.
Además de todos los desarrollos propios creados por la Adobe, la compañía ha hecho un movimiento estratégico muy inteligente. Va a incorporar modelos de IA generativa de terceros directamente en sus aplicaciones, tal omo ya ocurre con, por ejemplo, los plugins de terceros que utilizamos en Photoshop. De esta manera, Adobe posibilita que los usuarios de Premiere Pro sin salir de su herramienta de trabajo habitual, puedan incorporar la potencia de herramientas de otros desarrolladores. De momento, en la línea de desarrollo de los ingenieros de Adobe se encuentra la integración de los modelos de generación de vídeo de OpenAI y Runway para generar B-rolls y los de Pika Labs que podrían utilizarse con la herramienta Ampliación Generativa para añadir unos segundos al final de una toma.
Al ofrecer nuevas capacidades de IA generativa con Adobe Firefly y una variedad de modelos de terceros, Adobe está dando a los clientes acceso a una gama de nuevas capacidades sin tener que abandonar los flujos de trabajo que utilizan todos los días en Premiere Pro.
Adobe también ha anunciado que próximamente estará disponible para todo el mundo el flujo de trabajo de audio impulsado por IA en Premiere Pro, que incluye nuevos controles de fundido, insignias de clip, formas de onda dinámicas, etiquetado de categorías basado en IA y mucho más.
El futuro de la IA generativa en Premiere Pro
Adobe ha presentado un avance tecnológico de los flujos de trabajo de IA generativa que llegarán a Premiere Pro a finales de este año, impulsados por un nuevo modelo de vídeo para Firefly. Además, un «adelanto» muestra cómo los editores profesionales podrían aprovechar los modelos de generación de vídeo de Open AI y Runway en el futuro para generar B-rolls, o cómo podrían utilizar Pika Labs con la herramienta Ampliación Generativa para añadir unos segundos al final de una toma.
- Ampliación generativa: Añade fotogramas fácilmente para hacer que los clips sean más largos, de modo que sea más fácil sincronizar perfectamente las ediciones y añadir transiciones suaves. Esta innovadora tecnología resuelve un problema habitual con el que se encuentran a diario los editores profesionales, permitiéndoles crear material adicional para ajustar los montajes, mantener una toma durante un tiempo extra o cubrir mejor una transición.
- Inserción y eliminación de objetos: Simplemente selecciona y rastrea objetos, luego reemplázalos. Elimina elementos no deseados, cambia el vestuario de un actor o añade rápidamente elementos de decorado, como un cuadro o flores fotorrealistas sobre un escritorio.
- Texto a vídeo: Genera secuencias completamente nuevas directamente en Premiere Pro. Sólo tienes que escribir texto en un prompt o cargar imágenes de referencia. Estos clips se pueden utilizar para idear y crear guiones gráficos, o para crear B-rolls para aumentar el metraje de acción en vivo.
Audio IA, disponible de forma general en Premiere Pro
Además de las nuevas herramientas de vídeo generativas con IA de Adobe, los nuevos flujos de trabajo de audio en Premiere Pro estarán disponibles de forma general para los clientes en mayo, ofreciendo a los editores todo lo que necesitan para controlar con precisión y mejorar la calidad de su sonido.
- Controles de fundido interactivos: Los editores pueden crear transiciones de audio personalizadas más rápido que nunca con solo arrastrar los controles de clip para crear fundidos de audio.
- Nueva insignia de sonido esencial con etiquetado de categorías de audio: La IA etiqueta automáticamente los clips de audio como diálogo, música, efectos de sonido o ambiente, y añade un nuevo icono para que los editores accedan con un solo clic y al instante a los controles adecuados para el trabajo.
- Insignias de efectos: Las nuevas insignias visuales facilitan ver qué clips tienen efectos, añadir rápidamente otros nuevos y abrir automáticamente los parámetros de los efectos directamente desde la secuencia.
- Formas de onda rediseñadas en la línea de tiempo: Las formas de onda cambian de tamaño de forma inteligente a medida que cambia la altura de la pista en los clips, mientras que los nuevos colores vistosos facilitan la lectura de las secuencias.
Además, la herramienta de Mejorar la voz, que elimina instantáneamente el ruido no deseado y mejora los diálogos mal grabados, está disponible desde febrero.
