Il y a quelques semaines, nous avons eu l'immense privilège de recevoir à la Villa Good Tech, Sara Hooker, VP research de Cohere for AI, 1ʳᵉ société d'IA d'entreprise axée sur la sécurité des données par la construction de modèles d'IA d'avant-gardiste, avec des capacités multilingues de premier plan, conçus pour résoudre les défis commerciaux du monde réel. 

Cohere for AI poursuit des projets ambitieux visant à rendre l'IA plus accessible, performante et représentative de la diversité linguistique mondiale. Parmi ses initiatives se trouve le projet AYA, qui mobilise aujourd’hui des milliers de chercheurs du monde entier pour relever des défis techniques complexes liés à la modélisation multilingue.

Cohere for AI : le projet multilingue AYA, un effort collaboratif sur l'IA

AYA et la vision d’une IA multilingue

L'initiative AYA est née d’une volonté de transformer l’apprentissage automatique multilingue. Contrairement aux modèles linguistiques standards, souvent dominés par les langues les plus largement parlées, AYA s'est attaqué à un défi colossal : couvrir 101 langues, dont de nombreuses peu représentées, telles que le wolof, le shona et le haoussa. L'initiative a rassemblé 3 000 chercheurs issus de 119 pays, créant un cadre de collaboration sans précédent qui va au-delà des frontières linguistiques et culturelles.

Sara Hooker a expliqué lors de cette intervention que le projet visait non seulement à développer des modèles de grande échelle, mais aussi à optimiser l'efficacité de l'IA dans des contextes où les ressources informatiques sont limitées. Cela a impliqué des techniques avancées pour optimiser les modèles de 103 milliards de paramètres, tout en travaillant sur des approches plus efficaces pour réduire la latence et rendre l'IA accessible à un plus grand nombre de communautés.

Pour illustrer ses propos et l'importance de développer ce type de modele, Sara rappelle la citation de Ludwig WITTGENSTEIN :

" Les limites de ma langue signifient les limites de mon monde. "

Image

Image

Les défis techniques d'une modélisation multilingue

Le développement de modèles d'IA multilingues requiert des avancées significatives pour surmonter des obstacles techniques complexes. Sara décrit d'ailleurs plusieurs obstacles majeurs, notamment la rareté des données dans certaines langues et les limites des techniques de tokenisation actuelles. 

Par exemple, les langues qui utilisent des scripts non latins, comme le chinois et le hindi, sont souvent pénalisées, car les outils de tokenisation standards ne sont pas adaptés, augmentant ainsi les coûts et la complexité de leur traitement.

Un autre défi clé est la "double contrainte des faibles ressources", où les locuteurs de langues peu dotées en données disposent également d'un accès limité aux ressources de calcul. Sara souligne que "80 % des langues n'ont presque aucun texte disponible, ce qui démontre l'importance de solutions multimodales, telles que l'utilisation de l'audio pour renforcer les données disponibles."

Sara HOOKER résume cela en reprenant une citation de Vukosi MARIVATE :

" Lorsque vous ne participez pas à la conversation, celle-ci se déroule en votre absence et non avec vous. "

Une approche optimisée pour plus de performance

Ce qui distingue le projet AYA est son approche innovante de l'apprentissage multitâche et de l'alignement des modèles. Plutôt que de former des modèles séparés pour des tâches spécifiques, Cohere for AI a adopté un paradigme universel, entraînant un seul modèle sur diverses tâches pour favoriser un transfert de connaissances plus efficace. Cette méthodologie réduit la quantité de données requises et améliore les performances sur des tâches complexes.

L'optimisation des données a par ailleurs été cruciale. AYA a introduit un processus rigoureux de nettoyage et d’évaluation de la qualité des données, avec des contributions examinées par des pairs pour garantir leur pertinence. Les chercheurs ont développé des indicateurs de qualité et ont même supprimé les données inutiles pour améliorer la performance globale des modèles.

Image

Image

Une collaboration Mondiale et ouverte

Au cœur de la mission de Cohere for AI se trouve un engagement envers la transparence et la collaboration. Sara a fièrement mentionné que contrairement à de nombreux laboratoires de recherche industrielle qui gardent leurs travaux sous scellés, Cohere for AI publie largement ses recherches. Cela inclut la publication des poids des modèles et des ensembles de données d'instruction, une démarche essentielle pour permettre à d'autres chercheurs et institutions d'exploiter ces ressources.

L'initiative AYA a également établi des précédents importants en matière de couverture linguistique. Avant AYA, peu de modèles déclaraient les langues couvertes, ce qui limitait leur utilité dans de nombreux contextes locaux. En rendant leurs travaux publics, Cohere for AI espère encourager une meilleure prise en compte de la diversité linguistique dans l'IA.

Image

Image

Quelles sont les prochaines étapes ?

En regardant vers l'avenir, Cohere for AI envisage de développer des modèles linguistiques spécialisés par région géographique, afin de maximiser l'efficacité et de résoudre les problèmes de tokenisation. Des projets pour des modèles axés sur l'Europe et l'Asie sont en préparation, visant à tirer parti des avantages du transfert interlinguistique tout en augmentant la capacité disponible pour chaque famille de langues.

Le travail de Cohere for AI et de Sara Hooker témoigne d'une vision ambitieuse et inclusive de l'IA. Le projet AYA est une étape importante vers une IA plus équitable, où chaque langue a la possibilité d'être représentée et intégrée dans le monde numérique de demain.