IA générative : une révolution pour la vidéo, le cinéma et la publicité

À Hollywood, comme dans le milieu de la publicité, qui ont commencé à s’en emparer, l’intelligence artificielle générative dédiée à la vidéo est très attendue dans Premiere Pro, le logiciel de montage que les professionnels utilisent déjà. Ce sera donc le cas dans le courant de l’année, comme l’a annoncé Adobe, son éditeur, lors du NAB à Las Vegas.

Une intégration cadrée pour éviter que la technologie ne soit détournée, avec trois utilisations principalement prévues : Firefly – c’est le nom de cette IA – permettra de prolonger un plan. S’il manque des images, au moment du montage, pour qu’un raccord soit parfait avec le plan suivant, Premiere Pro sera capable d’imaginer les images manquantes, à partir de la scène qui aura réellement été tournée.

Encore plus fort : s’il manque un plan de transition – un plan de coupe, par exemple – là aussi, Firefly sera capable de "sauver" le réalisateur et son monteur, en créant un contrechamp, par exemple, de toutes pièces.

Suivi des mouvements selon l’environnement visuel

Cette technologie permet aussi d’intervenir directement dans le montage, que ce soit pour supprimer un objet en quelques clics, le faire disparaître comme s’il n’avait jamais existé dans l’image, ou au contraire, pour ajouter un objet qui n’était pas là : une montre ou une cravate, sur un acteur qui n’en portait pas, comme l’explique Fred Rolland, responsable des solutions vidéo professionnelles au niveau européen chez Adobe, à franceinfo :

"Dans l’exemple de la cravate, il s’agit d’un homme en mouvement, habillé d’un costume. L’utilisateur va pouvoir sélectionner la zone dans laquelle il souhaite insérer la cravate, et demander à Firefly de générer cette fameuse cravate. La magie, c’est que chaque objet va suivre – image par image – les mouvements du sujet, en intégrant la colorimétrie, l’environnement 3D, l’environnement lumière, de manière à donner un rendu totalement réaliste."

Plusieurs modèles au choix dont Sora d’Open AI

L’IA générative a besoin de modèles pour fonctionner. Et le choix de ces modèles est une autre particularité de l’annonce d’Adobe, qui tient à laisser le choix aux utilisateurs. On pourra donc opter soit pour des modèles d’IA générative tiers, proposés par Runway, Pika Labs ou encore OpenAI, l’éditeur de chatGPT, avec Sora qui est très attendu ; soit le propre modèle d’IA générative de vidéo, qui est en cours d’entraînement, et donc de création chez Adobe, à partir de sa base d’images, baptisée Stock, et qui compte 450 millions de fichiers photo et vidéo.