Un nouvel algorithme nommé Comixify, pensé et développé par des étudiants de l'Université de technologie de Varsovie (PW), permet de convertir des vidéos en bandes dessinées. Le site Web Comixify permettant de tester l'algorithme a enregistré, en moins d'un mois, plus de 180 000 visiteurs et généré plus de 22 000 bandes dessinées.

Les auteurs du projet sont des étudiants de la faculté d'électronique et des technologies de l'information de l'Université de technologie de Varsovie : Maciej P??ko, Adam Svystun et Pawe? Andruszkiewicz. Les professeurs encadrant le projet travaillent eux au département d'infographie de l'Institut d'informatique : prof. dr. hab. Przemys?aw Rokita et dr. Tomasz Trzci?ski.

Les étudiants à l'origine de Comixify ont toujours eu un fort intérêt pour les bandes dessinées et le transfert de styles en utilisant l'apprentissage automatique. Ils se sont également appuyés sur des publications antérieures de leur département notamment celles concernant la prédiction de la popularité du contenu sur Internet.

Comment fonctionne Comixify ?

Comixify sélectionne automatiquement les images les plus intéressantes et les plus importantes d'une vidéo donnée, puis les organise, les ajuste et les convertit dans un style graphique.

Le processus de conversion de la vidéo en bandes dessinées est divisé en deux étapes :

Extraction des images les plus représentatives de la vidéo : pour cela les chercheurs s'appuient sur un algorithme basé sur l'apprentissage par renforcement (« Reinforcement learning »), dont la tâche est de résumer intelligemment la vidéo. Grâce à un module supplémentaire qui sonde la qualité et la popularité des images, Comixify, sélectionne non seulement les images les plus représentatives du film mais Transfert de style des images en bande dessinée : pour cela les chercheurs ont mis en ?uvre un algorithme de type neuronal basé sur les réseaux antagonistes génératifs (Generative Adversarial Networks - GANs).

Qu'est-ce que les réseaux antagonistes génératifs ou GANs ?

Datant de 2014 et inspirée de la théorie des jeux, cette méthode entraîne conjointement deux réseaux antagonistes. L'un des réseaux cherche à générer de la manière la plus crédible possible des données pour qu'elles ressemblent aux données d'entraînement, l'autre cherche à détecter le plus précisément possible si les données qu'on lui présente ont été générées ou sont tirées des données d'entraînement. Le premier réseau va donc devoir tromper le deuxième : ils sont en opposition.

Dans le cas de Coximify l'algorithme reçoit des images, que le générateur utilise pour en créer de nouvelles. Le discriminateur vérifie si l'instance provient d'un ensemble de vraies images (« true ») ou d?images générées par le réseau générateur (« false »). Le processus se poursuit jusqu'à ce que le générateur crée des instances si similaires à l'ensemble de formation que le discriminateur ne sera pas en mesure de faire la différence.

Sur le site Web Comixify, vous pouvez visionner des bandes dessinées générées à partir de fragments de films tels que "Pulp fiction", "Star Wars : Episode I - La menace fantôme". L'outil développé par l'équipe de l'Université de technologie de Varsovie peut être testé gratuitement en téléchargeant ses propres fichiers (jusqu'à 50 Mo) ou en utilisant des liens YouTube.

Engouement mondial

La publication scientifique décrivant cet algorithme a suscité un vif intérêt dans le monde entier. Les créateurs ont reçu de nombreuses demandes de producteurs de films et d'éditeurs de bandes dessinées d'Europe et des États-Unis intéressés par cette solution. Ils recherchent actuellement des opportunités de financement pour le projet et sa commercialisation.

Les auteurs de Comixify ont l'intention d'améliorer leur projet avec de nouvelles fonctionnalités, notamment la reconnaissance vocale et la génération de bulles de parole, c'est-à-dire d'ajouter automatiquement du texte à des images.

site Comixify: https://comixify.ai/?last=month&sortBy=trend

C'est une première mondiale digne de la science-fiction : une équipe de chercheurs internationaux est parvenue à cultiver des embryons de singes contenant des cellules humaines.

Les scientifiques ont injecté 25 cellules-souches humaines dans 132 embryons de singes âgés de six jours. Après dix jours, 103 embryons hybrides se sont formés. Certains de ces embryons hybrides n'ont vécu que trois jours en laboratoire. D'autres ont été cultivés durant 19 jours avant d'être détruits.

Aux yeux du professeur de génétique Juan Carlos Izpisua Belmonte, qui a dirigé l'étude, ces embryons chimères (où deux types de cellules sont mélangées, ndlr.) représentent une avancée conséquente pour la recherche biomédicale.

« La transplantation d'organes est l'un des plus grands défis de la médecine. La demande est bien plus importante que l'offre », explique-t-il à NPR. L'objectif de cette expérience était donc d'étudier de nouvelles possibilités de créer, à partir des animaux, des organes destinés à être greffés chez l'être humain.

Des questions éthiques

« Notre objectif n'est pas de générer un nouvel organisme, ni un monstre. Nous ne faisons rien de tel. Nous essayons de comprendre comment les cellules de différents organismes communiquent entre elles », ajoute le chercheur. « Ces connaissances nous permettront de repenser les voies qui permettent un bon développement des cellules humaines chez les autres animaux. »

Si cette expérience peut effectivement représenter une avancée importante dans la recherche sur les cellules souches, elle soulève également des enjeux éthiques importants et relance le débat sur les manipulations génétiques.

Voir aussi:

Des chercheurs de l'Académie des sciences agricoles de Chine ont mené une étude publiée dans la revue Cell le 1er avril 2021. L'objectif?? Comprendre comment l'aleurode du tabac est capable d'échapper au mécanisme de défense des plantes afin de leur transmettre de nombreux virus pathogènes. Or, leur découverte est surprenante et constitue une grande première.

Les scientifiques ont tout d'abord séquencé le génome de l'aleurode du tabac. Ils y ont trouvé un gène inconnu jusqu'à aujourd'hui : BtPMaT1. Or, ce gène code pour une protéine dont la fonction est de neutraliser les glycosides phénoliques, des métabolites toxiques pour les insectes herbivores. Surpris, les chercheurs ont tenté de comprendre d'où pouvait venir ce gène encore jamais observé chez un insecte. Les scientifiques chinois ont finalement retrouvé des gènes similaires à BtPMaT1, mais seulement chez des plantes, des champignons ainsi que des bactéries.

Des plantes OGM ciblant l'aleurode du tabac??

Ted Turlings, écologiste à l'Université de Neuchâtel (Suisse), a également participé aux travaux. L'intéressé a évoqué dans un article paru dans Nature la probabilité qu'un virus présent dans une plante ait intégré le gène dans son génome, puis qu'un aleurode ait mangé cette plante infectée. Ensuite, le virus a transféré le gène au génome de l'insecte. Ce transfert de gène se serait produit il y a entre 35 et 80 millions d'années au moment de la séparation de l'aleurode du tabac des autres aleurodes n'ayant pas le fameux gène. Pour les meneurs de l'étude, il s'agit là du tout premier transfert horizontal de gènes observé entre une plante et un insecte.

En quelque sorte, l'aleurode du tabac s'est approprié la stratégie de combat de ses adversaires pour y résister. Afin de vérifier leur hypothèse, les scientifiques ont désactivé le gène en modifiant génétiquement des plants de tomates. Le but?? Faire en sorte que ces plants produisent un petit bout d'ARN interférant avec le gène. Lorsque les aleurodes se sont nourris de ces plantes, leur mortalité était plus élevée. Ceci suggère qu'il est possible d'utiliser des plantes OGM ciblant cette mouche blanche et pourquoi pas, d'autres phytoravageurs.

Baptisé "xenobot", ce minuscule organisme a été conçu artificiellement via un programme informatique, dans un laboratoire aux Etats-Unis. A en croire les scientifiques, il pourrait notamment servir à transporter des médicaments en voyageant à l'intérieur du corps humain.

Les robots seront-ils conçus à l'avenir à partir d'animaux ? Moitié machine, moitié organisme vivant, cette drôle de bestiole est un "exobot". Un quoi ? Un exobot. Autrement dit, le premier robot conçu biologiquement par ordinateur à partir de cellules vivantes, dans un laboratoire aux Etats-Unis. Son nom, cette créature, mesurant moins d'un millimètre, le doit à une grenouille africaine à griffes, la Xenopus laevis, dont sont issues les cellules souches ayant servi à façonner cette "machine vivante".

"Ce sont de nouvelles formes de vie", résume Joshua Bongard, informaticien expert en robotique à l'Université du Vermont et co-auteur de l'étude, dans un communiqué de presse. "Ce n'est ni un robot conventionnel ni une espèce animale connue", poursuit le scientifique. Il s'agit d'une nouvelle classe d'artefact : un organisme à la fois vivant et programmable." Pour l'instant, il sait marcher et nager, déplacer des objets. Il peut, en outre, travailler en équipe.

i leur durée de vie peut atteindre plusieurs semaines, les xenobots sont incapables de se reproduire. En revanche, ils sont en mesure de se régénérer. Ils possèdent en effet la capacité de pouvoir survivre sans nutriments supplémentaires pendant des jours, voire des semaines. Cela les rend particulièrement adaptés pour l'administration de médicaments, soulignent les chercheurs des université du Vermont et de Tufts, dont les travaux ont été publiés lundi 13 janvier dans la revue l'Académie nationale américaine des sciences (PNAS).

Plus concrètement, ces robots vivants pourraient servir pour détecter des matériaux radioactifs, récupérer les microplastiques présents dans les océans ou encore encore voyager à l'intérieur du corps humain pour nettoyer les artères, par exemple. Au cours des tests en laboratoire, certains xenobots possédaient d'ailleurs un trou au centre, de quoi leur permettre de transporter des molécules et les administrer localement sans avoir besoin de recourir à une intervention chirurgicale, souligne l'équipe de scientifiques.


Pour façonner ces machines vivantes, les scientifiques ont utilisé le superordinateur Deep Green de l'Université du Vermont. Comme l'explique L'Express, "les scientifiques ont utilisé un algorithme dit évolutionniste - inspiré de la théorie de l'évolution - qui permet de simuler des milliers de modèles candidats à une nouvelle forme de vie, avec pour contrainte de respecter les règles biophysiques d'une cellule de grenouille. Pendant des mois, ce programme informatique a assemblé numériquement des centaines de cellules de grenouilles pour créer une multitude de corps formés différemment."

L'objectif, pour cette partie de l'expérience, était de modéliser l'organisme le plus efficace pour réaliser une tâche bien déterminée. Après plus d'une centaine de tentatives, les modèles les plus aboutis ont été envoyés à des biologistes de l'université de Tufts, dans le Massachusetts. Ces derniers ont utilisé des cellules souches de grenouilles, puis un micro-chirurgien les a façonnées en se servant de pinces microscopiques et d'électrodes afin d'obtenir la forme que le programme informatique dopé à l'intelligence artificielle avait estimé être la meilleure.

https://www.franceculture.fr/emissions/la-methode-scientifique/la-methode-scientifique-emission-du-mercredi-28-avril-2021

Capable de prendre ses propres décisions et de naviguer en totale autonomie, ce petit trimaran de 15 mètres de long et 9 tonnes, couvert de panneaux solaires, se prépare à traverser l'océan Atlantique tout seul. Il pourra étudier l'environnement en analysant la présence de plastique dans l'eau ou traquant les mammifères marins.

L'océan "est la force la plus puissante de la planète qui régule notre climat", explique à l'AFP Brett Phaneuf, fondateur de l'association ProMare et architecte du projet. Mais plus de 80% des océans restent inexplorés, en raison de leur immensité et des dangers encourus.

"La mer est un environnement impitoyable, donc avoir un bateau sans personne à bord, cela permet vraiment aux scientifiques d'élargir la zone d'étude", souligne Rosie Lickorish, spécialiste des technologies émergentes chez IBM, l'un des partenaires qui ont rejoint le projet depuis sa naissance il y a quatre ans.

Lorsque l'idée a émergé, "d'autres fournisseurs de technologie ont commencé à nous aider", raconte Brett Phaneuf, ainsi que plusieurs "centaines" de personnes de l'Inde aux États-Unis, en passant par le Japon ou la Suisse.

Sans cet "effort mondial", le projet "aurait coûté des dizaines de millions" de dollars au lieu d'"un peu moins d'un million de dollars" investis au final par ProMare, qui mettra gratuitement à disposition les informations récoltées.

Le grand départ vers les Etats-Unis est prévu aux alentours du 15 mai, en fonction de la météo et de l'autorisation pour l'instant incertaine des autorités britanniques.

Le bateau devrait mettre environ trois semaines pour atteindre un autre Plymouth, dans le Massachusetts, reproduisant la traversée du "Mayflower" originel il y a plus de 400 ans, en 1620, lorsqu'une centaine de "pèlerins", des dissidents religieux anglais, étaient partis pour le Nouveau monde.

Mais pour ce futur voyage, qui a été retardé par la pandémie, "personne ne tombera malade" et "on pourra prendre tout le temps qu'on veut pour les expériences scientifiques", précise M. Phaneuf sur le port anglais.

A ses côtés, assis sur les quais, trois informaticiens contrôlent les équipements depuis leurs ordinateurs tandis qu'une étudiante ingénieure de 21 ans, Meirwen Jenking-Rees, vérifie les moteurs avant un entraînement.

- "Penser" seul -

La construction du trimaran, entièrement robotisé, du gouvernail au groupe électrogène diesel qui complète l'énergie solaire, a pris un an.

Le développement de son "capitaine virtuel", une intelligence artificielle qui a commencé par apprendre à identifier les obstacles maritimes en analysant des milliers de photographies, a pris encore plus de temps.

Les programmeurs ont également appris au "Mayflower 400" à éviter les collisions.

Forte de ces connaissances, l'embarcation est partie en mer pour un "apprentissage supervisé". "On peut lui dire quelles sont ses bonnes et ses mauvaises actions, ce qui est dangereux ou non", explique Ollie Thompson, ingénieur en robotique.


Puis "on passe au stade où le bateau est capable de se corriger lui-même", c'est-à-dire de "penser" grâce à un système informatique qui simule la manière dont un cerveau humain analyse les informations.

"Il continue d'apprendre par lui-même", en utilisant ses "yeux", un système sophistiqué de six caméras, et ses "oreilles", c'est-à-dire son radar, ajoute M. Thompson.

Cependant, en raison des règlementations sur la navigation sans personne à bord, qui est inédite, le "Mayflower 400" n'a pas encore pu "sortir sur une mer agitée, avec de grosses vagues, du vent, de la pluie", soit le "pire scénario", celui d'une violente tempête, regrette Meirwen Jenking-Rees.

A la place, le trimaran s'est entraîné à affronter des vagues de 50 mètres à l'aide d'un simulateur.

Il utilisera son intelligence artificielle pour mener des expériences scientifiques, explique Rosie Lickorish. Il a par exemple "été entraîné à l'aide de milliers d'heures d'enregistrement audio (...) à détecter les mammifères marins, les reconnaître et nous apprendre des choses sur la répartition de leurs populations".

Analyser la composition chimique de l'eau, mesurer le niveau de la mer et prélever des échantillons à la recherche de microplastiques figurent parmi ses autres missions, une collecte de données similaire à celle que font des robots dans l'espace depuis des décennies.

Malgré son autonomie totale, l'équipe surveillera le bateau 24 heures sur 24 depuis l'Angleterre, prête à intervenir à distance en cas de danger.