EDGE: Editable Dance Generation from Music est un outil d'IA qui génère des chorégraphies de haute qualité à partir de musique en utilisant des plongements musicaux du modèle Jukebox. L'outil fonctionne en encodant la musique d'entrée en plongements à l'aide d'un modèle Jukebox gelé, puis en utilisant un modèle de diffusion conditionnelle pour mapper les plongements musicaux à une série de clips de danse de 5 secondes. Au moment de l'inférence, des contraintes temporelles sont appliquées à des lots de plusieurs clips pour garantir une cohérence temporelle avant de les assembler dans une vidéo complète de longueur arbitraire. L'outil prend en charge des contraintes spatiales et temporelles arbitraires, le rendant adapté à diverses applications destinées aux utilisateurs finaux, notamment des danses soumises à des contraintes articulaires, des interpolations de mouvement et des continuations de danse. En outre, EDGE dispose d'une nouvelle perte de cohérence de contact qui améliore le réalisme physique tout en préservant le glissement et en évitant tout glissement involontaire des pieds, garantissant que les danses générées sont physiquement plausibles. L'outil a été entraîné en tenant compte du réalisme physique et s'est avéré être plus performant que les travaux précédents, comme l'indique la forte préférence des évaluateurs humains pour les danses générées par EDGE. Dans l'ensemble, EDGE: Editable Dance Generation from Music est un puissant outil d'IA adapté pour générer des chorégraphies de haute qualité à partir de musique, avec des applications potentielles dans diverses industries, y compris le divertissement et les arts.