Voicebox est un modèle AI génératif pour la parole qui peut généraliser à des tâches pour lesquelles il n'a pas été spécifiquement entraîné, avec des performances de pointe. Contrairement aux synthétiseurs vocaux existants, il peut être entraîné sur des données diverses et non structurées sans nécessiter d'entrées soigneusement étiquetées. Voicebox utilise une nouvelle approche appelée Flow Matching, qui est la dernière avancée de Meta sur les modèles génératifs non autorégressifs capables d'apprendre une cartographie hautement non déterministe entre le texte et la parole. Voicebox peut produire des clips audio de haute qualité dans une grande variété de styles, peut synthétiser la parole dans six langues, ainsi que réaliser la suppression du bruit, l'édition du contenu, la conversion de style et la génération d'échantillons divers. L'un des principaux avantages de Voicebox est sa capacité à modifier n'importe quelle partie d'un échantillon donné, pas seulement la fin d'un clip audio sur lequel il est donné. Cela le rend très polyvalent et adapté à des tâches telles que la synthèse de la parole contextuelle, le transfert de style multilingue, la dén

oise et l'édition de la parole, et l'échantillonnage de la parole diversifié. De plus, Voicebox surpasse les modèles vocaux de pointe existants en termes de taux d'erreur de mot et de similarité audio. Bien que Voicebox ne soit pas actuellement disponible pour le grand public en raison des risques potentiels de mauvaise utilisation, Meta a partagé des échantillons audio et un article de recherche détaillant son approche et ses résultats. Cette percée en matière d'IA générative pour la parole est passionnante car elle a des applications potentielles pour aider les gens à communiquer et à personnaliser des voix pour des assistants virtuels.