Nouveau : Runway IA Motion Brush - Révolution dans l’ImageToVideo

L'intelligence artificielle continue de révolutionner le domaine de la création vidéo. Runway, une plateforme en ligne spécialisée dans la manipulation et la génération de vidéos, se positionne en leader dans le segment ImageToVideo.

Les fonctionnalités proposées par Runway n'étaient jusqu’alors pas suffisamment convaincantes pour être intégrées dans des processus créatifs courants. La récente introduction de "Motion Brush" marque un tournant significatif.

Motion Brush : une nouvelle approche intéressante

Le problème majeur avec les précédentes versions de Runway était l'animation globale de l'image, conduisant à des résultats souvent inutilisables. Le nouvel outil "Motion Brush" répond à cette difficulté en permettant aux utilisateurs de sélectionner des zones spécifiques de l'image à animer. Cette fonctionnalité améliore considérablement la qualité et l'utilité des animations générées.

Projections futures pour le segment ImageToVideo

L'avenir semble prometteur pour le secteur de la vidéo assistée par IA. D'une part, les outils comme ceux développés par Runway pourraient révolutionner le domaine de la réalisation de films pour les cinéastes indépendants et les animateurs, en offrant plus de possibilités avec un budget limité. À moyen terme, des innovations telles que la conversion instantanée de mangas en anime sont attendues.

Perspectives et défis à long terme

À plus long terme, on pourrait envisager des films générés par IA adaptés aux préférences individuelles des spectateurs. Cependant, cela soulève des questions sur l'impact de telles technologies sur la créativité et la diversité dans le cinéma. Le débat sur l'annotation obligatoire des films assistés par IA se pose également, d'autant plus que de nombreux outils actuels intègrent déjà des formes d'IA.

Runway et ImageToVideo : L’avenir du cinéma menacé ?

L'innovation dans le secteur ImageToVideo, menée par des acteurs comme Runway, promet une révolution dans la création de contenu vidéo. Toutefois, cette évolution s'accompagne de défis significatifs, tant en termes de créativité que d'éthique dans l'industrie cinématographique. L'impact à long terme de ces technologies reste à déterminer, mais leur potentiel disruptif est indéniable.

Notes Runway x Motion Brush

• Runway → C’est un studio IA en ligne spécialisé dans la manipulation & la génération de vidéos
  • Les numéro 1 dans le segment ImageToVideo
  • Je track le projet depuis ~6 mois et jusqu’à aujourd’hui, les fonctionnalités proposées n’étaient pas assez intéressantes pour que je les utilises dans mes process ou que je vous les présentes

Motion Brush : Animez des parties spécifiques d’une image

• Le problème qu’on avait jusqu’à maintenant, c’est que quand on envoyez une image à Runway, l’ensemble de l’image était animée, et on avait des résultats inutilisables
  • Je vous ajoute une vidéo au montage, mais c’était désagréable, impossible pour notre cerveau de se concentrer sur l’image
• Motion Brush permet donc de régler ce problème, en sélectionnant une ou plusieurs zones spécifiques à animer
• Les résultats
  • https://x.com/rowancheung/status/1729009694025355475?s=20
  • https://runwayml.com/#motion-brush
  • https://x.com/rowancheung/status/1729009805291839915?s=20
• Comparatif avec les concurrents à Runway
  • https://x.com/anukaakash/status/1728768779415630039?s=20
• Ou utiliser / prix ?
  • Gratuit (avec des limites assez généreuses) & runwayml.com

Plusieurs nouvelles avancées dans le segment ImageToVideo

• PikaLabs permet de cacher un mot dans une vidéo (résultat inexploitable for now)
  • https://x.com/rowancheung/status/1729009716246827197?s=20
• Annonce de Stable Diffusion Vidéos
  • https://x.com/nickfloats/status/1727069284189507789?s=20
  • Modèle open-source donc finetuning possible = des milliers de nouvelles possibilités
  • Possible de le lancer en local, donc aucune limite excepté votre GPU

Projections

• Explosion de la créativité & des possibilités : Si vous êtes un apprentie réalisateur avec un très faible budget, vous arriverez potentiellement via ces outils à faire vos preuves bcp + facilement & rapidement que via les process tradis
• Si vous êtes dessinateur, ça n’a jamais aussi simple pour vous de réaliser une mini séries animés
• Donc + de leverage possible pour les personnes passionnés d’un domaine créa
• D’ici max 1 an : On devrait voir arriver du instant Manga to Anime, on à déjà cet exemple incroyable
  • https://twitter.com/InnerRefle11312/status/1728790506904125732
• Dans un futur lointains (max 10 ans) on assistera au VOD IA, vous décrivez un film & on vous le génère, ou l’IA qui a l’historique des vos dernières lectures vous propose des films similaires
  • Si les films correspondent parfaitement à ce qu’on attend → Lassitude de ne jamais être “frustré” ou “surpris” → Fin d’un cycle → Retour à des films tradis ?
  • Joe Russo (Avengers : Endgame, Infinity War) pense que les films entièrement réalisés avec l'IA et personnalisés en fonction des préférences des spectateurs pourraient arriver dans deux ans ou moins. Il siège au conseil d'administration de plusieurs entreprises spécialisées dans l'IA donc vision biaisé
• Le plus grand “clash” dans le monde du cinéma arrive, largement supérieur à la récente crise d’Hollywood
  • À la fin de cette crise, on peut s’attendre à une annotation obligatoire des films IA / assistées par de l’IA, la seule problématique : la majorité des logiciels actuels sont déjà dopées par des mini-ia, donc ou est-ce que sera la frontière ?
• Donc pour conclure : Autant de positif que de négatif, même si on à tendance à voir uniquement le négatif c’est tout à fait logique