Un nouvel algorithme nommé Comixify, pensé et développé par des étudiants de l'Université de technologie de Varsovie (PW), permet de convertir des vidéos en bandes dessinées. Le site Web Comixify permettant de tester l'algorithme a enregistré, en moins d'un mois, plus de 180 000 visiteurs et généré plus de 22 000 bandes dessinées.

Les auteurs du projet sont des étudiants de la faculté d'électronique et des technologies de l'information de l'Université de technologie de Varsovie : Maciej P??ko, Adam Svystun et Pawe? Andruszkiewicz. Les professeurs encadrant le projet travaillent eux au département d'infographie de l'Institut d'informatique : prof. dr. hab. Przemys?aw Rokita et dr. Tomasz Trzci?ski.

Les étudiants à l'origine de Comixify ont toujours eu un fort intérêt pour les bandes dessinées et le transfert de styles en utilisant l'apprentissage automatique. Ils se sont également appuyés sur des publications antérieures de leur département notamment celles concernant la prédiction de la popularité du contenu sur Internet.

Comment fonctionne Comixify ?

Comixify sélectionne automatiquement les images les plus intéressantes et les plus importantes d'une vidéo donnée, puis les organise, les ajuste et les convertit dans un style graphique.

Le processus de conversion de la vidéo en bandes dessinées est divisé en deux étapes :

Extraction des images les plus représentatives de la vidéo : pour cela les chercheurs s'appuient sur un algorithme basé sur l'apprentissage par renforcement (« Reinforcement learning »), dont la tâche est de résumer intelligemment la vidéo. Grâce à un module supplémentaire qui sonde la qualité et la popularité des images, Comixify, sélectionne non seulement les images les plus représentatives du film mais Transfert de style des images en bande dessinée : pour cela les chercheurs ont mis en ?uvre un algorithme de type neuronal basé sur les réseaux antagonistes génératifs (Generative Adversarial Networks - GANs).

Qu'est-ce que les réseaux antagonistes génératifs ou GANs ?

Datant de 2014 et inspirée de la théorie des jeux, cette méthode entraîne conjointement deux réseaux antagonistes. L'un des réseaux cherche à générer de la manière la plus crédible possible des données pour qu'elles ressemblent aux données d'entraînement, l'autre cherche à détecter le plus précisément possible si les données qu'on lui présente ont été générées ou sont tirées des données d'entraînement. Le premier réseau va donc devoir tromper le deuxième : ils sont en opposition.

Dans le cas de Coximify l'algorithme reçoit des images, que le générateur utilise pour en créer de nouvelles. Le discriminateur vérifie si l'instance provient d'un ensemble de vraies images (« true ») ou d?images générées par le réseau générateur (« false »). Le processus se poursuit jusqu'à ce que le générateur crée des instances si similaires à l'ensemble de formation que le discriminateur ne sera pas en mesure de faire la différence.

Sur le site Web Comixify, vous pouvez visionner des bandes dessinées générées à partir de fragments de films tels que "Pulp fiction", "Star Wars : Episode I - La menace fantôme". L'outil développé par l'équipe de l'Université de technologie de Varsovie peut être testé gratuitement en téléchargeant ses propres fichiers (jusqu'à 50 Mo) ou en utilisant des liens YouTube.

Engouement mondial

La publication scientifique décrivant cet algorithme a suscité un vif intérêt dans le monde entier. Les créateurs ont reçu de nombreuses demandes de producteurs de films et d'éditeurs de bandes dessinées d'Europe et des États-Unis intéressés par cette solution. Ils recherchent actuellement des opportunités de financement pour le projet et sa commercialisation.

Les auteurs de Comixify ont l'intention d'améliorer leur projet avec de nouvelles fonctionnalités, notamment la reconnaissance vocale et la génération de bulles de parole, c'est-à-dire d'ajouter automatiquement du texte à des images.

site Comixify: https://comixify.ai/?last=month&sortBy=trend