SIGGRAPH 2021 : ChoreoMaster fait danser vos personnages 3D

Créer des animations de danse crédibles est un vrai besoin, qu’il s’agisse de l’essor de concerts virtuels dans Fortnite, d’un bal dans La Reine des Neige ou d’une foule dans un film à effets visuels. Cette tâche reste néanmoins fastidieuse, d’autant plus que l’animation doit être en rythme avec la musique et respecter son style.

C’est ici qu’interviennent Kang Chen, Zhipeng Tan, Jin Lei, Song-Hai Zhang, Yuan-Chen Guo, Weidong Zhang et Shi-Min Hu du NetEase Games AI LAB et de l’université de Tsinghua, avec leur projet de recherche ChoreoMaster : Choreography-Oriented Music-Driven Dance Synthesis.

Le premier générateur de danse utilisé en production

L’objet de leur publication est ChoreoMaster, un système de synthèse d’animations de danse à partir de musique, prêt pour un usage en production. Il a même déjà été utilisé par le studio de jeux vidéo Netease Games pour plusieurs projets. Il s’agirait même, selon les auteurs, du premier outil du genre à être déployé en production.

La vidéo de présentation donne une bonne idée des capacités de l’outil. On la visualisera de préférence avec le son, pour apprécier la cohérence danse/musique :

Les coulisses techniques

A partir d’un morceau de musique, ChoreoMaster peut donc générer automatiquement une séquence de danse avec un style, un rythme et une structure adaptés.

Afin d’y parvenir, l’équipe de recherche, a mis en place plusieurs contributions. en particulier, la publication présente un framework qui fait en sorte que des notions telles que les relations entre musique, style, rythme puissent être traduites sous forme de métriques. Le framework est lui-même utilisé dans l’outil de génération de danse proprement dit, ChoreoMaster. Ce dernier s’appuie sur une base de données de mouvements de danse qu’il utilise pour obtenir des chorégraphies adaptés à la musique d’entrée.
Mieux encore, l’équipe a inclus des outils de contrôle artistique, visibles dans la vidéo (changement des mouvements sur une portion de la chorégraphie, trajectoire personnalisée du personnage, etc), afin que le résultat puisse être ajusté facilement si besoin.

Des tests concluants

L’équipe a également évalué la qualité des danses générées, tout d’abord de façon quantitative (autrement dit, avec des mesures mathématiques). Les résultats sont bons : ChoreoMaster surpasse d’autres méthodes déjà proposées par le passé sur la justesse du rythme. Mieux encore, la diversité des danses est là aussi supérieure.
Afin d’avoir également un avis s’appuyant sur la subjectivité humaine, un test a été mis en place avec 35 sujets, dont 10 étaient chorégraphes ou artistes. Ce jury devait noter, entre autres, le réalisme de la danse, la cohérence de style et rythme entre musique et danse. Les résultats sont là encore très bons : qu’il s’agisse d’un public lambda ou de chorégraphes/artistes, les mouvements générés par la méthode proposés surpassent l’état de l’art, et se rapproche de scores obtenus avec de la vraie danse.

Mouvements de danse générés automatiquement à partir d’une chanson traditionnelle chinoise

Et après ?

Comme indiqué plus haut, ChoreoMaster est d’ores et déjà utilisable en production, et a été utilisé dans plusieurs jeux du studio Netease Games.

Pour autant, des améliorations sont possibles. L’outil est incapable de synthétiser des danses dans un style (par exemple la valse) qui n’est pas dans sa base de données. Etendre cette base sera donc utile.
Par ailleurs, les mouvements de la base de donnée utilisée sont à 4 temps : une musique en 3 temps ne sera pas gérée correctement. Là encore, explique la publication, incorporer davantage de données de référence dans le système permettra de résoudre le problème.
Enfin, le possible lien entre danse et paroles de chansons n’est pas géré : incorporer un module de traitement du langage naturel, suggère la publication, pourrait régler cette limitation.

Pour plus d’informations, on consultera la page de la publication. Outre le pdf de la publication, très détaillé, on y trouvera des données supplémentaires et d’autres exemples de résultats en vidéo.

L’article SIGGRAPH 2021 : ChoreoMaster fait danser vos personnages 3D est apparu en premier sur 3DVF.

Aller à la source
Author: Shadows