👤 Speaker : Didier Schwab
💬 Titre : Du texte et de la parole : nouveaux horizons multimodaux pour les modèles de langue en français
Abstract : Depuis 2019, les grands modèles de langue pour le français ont profondément évolué. Dans cette présentation, je reviendrai sur ce parcours : des modèles écrits aux modèles oraux, pictographiques et multimodaux, sans oublier les modèles spécialisés pour des domaines comme le droit ou le biomédical.
Nous verrons comment les modèles masqués de type BERT, pensés pour représenter le sens, et les modèles causaux de type GPT, conçus pour générer du texte, se distinguent, se complètent et posent de nouvelles questions : évaluation, robustesse, biais, usages réels.
J’introduirai ensuite Pantagruel, une nouvelle famille de modèles encodeurs auto-supervisés pour le texte et la parole en français. Son principe : ne plus se limiter à prédire des tokens textuels ou des unités de parole, mais apprendre des représentations contextualisées directement dans l’espace des caractéristiques. L’objectif est de mieux capturer les régularités linguistiques et acoustiques du français.
L’un des apports majeurs de l’architecture proposée est qu’elle permet de traiter les deux modalités — texte et parole — dans un même cadre. Là où des modèles comme CamemBERT ou FlauBERT restent centrés sur le texte, Pantagruel vise une représentation commune et plus flexible du français écrit et oral.
Pantagruel s’appuie sur de grands corpus français : Wikipedia, OSCAR et CroissantLLM pour le texte ; Multilingual LibriSpeech, LeBenchmark et surtout INA-100k pour la parole. INA-100k est un tout nouveau jeu de données de 100 000 heures d’audio français, issu des archives de l’Institut national de l’audiovisuel, avec une richesse de voix, de contextes et de situations de parole.
Face à des références solides comme CamemBERT, FlauBERT ou LeBenchmark 2.0, Pantagruel obtient des performances compétitives, voire supérieures. Mais l’enjeu dépasse la simple comparaison de scores : CamemBERT reste une référence importante, même s’il n’est plus l’état de l’art, tandis que Pantagruel propose une avancée différente — un modèle capable de travailler à la fois sur le texte et sur la parole.
De FlauBERT à Pantagruel, l’enjeu est donc similaire : construire des modèles français plus puissants, plus robustes, mieux évalués — capables de comprendre le français tel qu’il s’écrit, se parle et se combine avec d’autres modalités.
📅 Date : 17/07/2026
📍 Local : Maison Des Langues MDL-01 (FIAL) ( Google Map link )
