8ème journée d'innovation Pédagogique de l'IFA
Retour sur une journée innovante remplie d'échanges passionnants à l'IFA Campus Marcel SAUVAGE.
Il y a quelques jours, Michel-Marie MAUDET, Directeur Général et Co-fondateur de LINAGORA, a participé à la 8ème journée d'innovation Pédagogique de l'Institut de Formations Alternances au Campus Marcel SAUVAGE.
Après une brève introduction de notre Président Alexandre ZAPOLSKY, Michel-Marie a présenté les avancées autour de l'entrainement de LUCIE, 1er modèle d'IA Générative réellement Open Source développé par la communauté OpenLLM France / Europe.
Voici les nouveautés :
Pré-entraînement terminé depuis plus d'une semaine ;
Extension de la fenêtre contextuelle de 4k à 32k avec une finalisation prévue en début de semaine ;
Phase d'annealing : 2 semaines prévues pour aboutir au modèle fondation de base...
La phase d'anneling est une étape dans l'entraînement des modèles inspirées du processus de recuit simulé en physique. Cette technique vise à ajuster progressivement certains paramètres du modèle afin d'améliorer sa stabilité et ses performances.
Phase d'instruction, prévue pour mi-décembre, permettra à LUCIE de fonctionner en RAG (questions/réponses) ;
Une étape illustrée notamment par Andrzej NEUGEBAUER, AI Program Director à LINAGORA, lors de son atelier sur le RAG pour aider les enseignants à préparer et à générer leurs séquences pédagogiques.
Publication du modèle avec son dataset, code source, et fichiers du modèle disponibles sur Hugging Face pour tests.
Voir en REPLAY le Webinaire OpenLLM