LUCIE : le LLM 100% Open Source

Ils parlent de nous... ID L'info Durable

LUCIE, le LLM 100 % open source développé avec la communauté OpenLLM France et basé sur des données transparentes, a suscité un vif débat ces derniers jours. Entre critiques et enthousiasme, une chose est certaine : l’IA française est en train de se construire, avec ses défis et ses ambitions !
 

 Mais d’ailleurs, comment se passe un entraînement d’une IA générative ?

1.  Le modèle doit d’abord apprendre les langues dans lesquelles il est attendu qu’il converse.
    
2. IA va s’entraîner à faire des liens entre des "tokens". Un token représente une unité de donnée comprise par une IA. Il peut s’agir d’une partie de phrase, d’un mot ou d’une partie de mot.
    
3. L'IA est ensuite analysée par un humain, qui, à l’aide d’un jeu de questions-réponses, va corriger ses réponses. C’est l’étape du RHLF, ou Reinforcement Learning from Human Feedback. Elle va permettre à l’IA de faire des liens entre la question posée et les connaissances qu’elle possède dans le but d’y apporter une réponse juste.

LUCIE n’a pas encore subi cette dernière étape et c’est donc pour cela qu’elle a été mise en ligne.

• Une IA générative se développe en 3 phases :
  Le pré-entraînement : Pour LUCIE c’est l’apprentissage, elle est alimentée par une immense quantité de données, apprenant les structures du langage et les réponses possibles.
   
• L’alignement : LUCIE apprend à adopter les bons comportements et à gérer des cas d’usage précis.
   
•  Ajustement final : LUCIE est peaufinée en analysant ses réponses, en identifiant les biais ou ses erreurs, pour offrir les meilleures performances avant sa mise en production.

LUCIE vient seulement d’entamer la phase d’alignement, Construire une IA souveraine prend du temps. Mais l’ambition de LUCIE est claire : proposer un modèle d’intelligence artificielle français, éthique et adapté aux besoins de notre éducation.