Traduction automatique vers les pictogrammes
cental | Louvain-la-Neuve
Traduction automatique du français vers les pictogrammes pour améliorer la communication entre médecins et patients avec une déficience intellectuelle en milieu hospitalier
L'objectif de cette thèse est d'explorer les façons dont la communication entre un médecin et un patient avec une Déficience Intellectuelle (DI) peut être améliorée à l'aide d'un système basé sur des pictogrammes. La communication entre médecins et patients est essentielle, car elle permet d'améliorer l'adhésion au traitement, l'état de santé des patients et leur qualité de vie. Ce type d'interactions peut toutefois entraîner diverses complications qui s'ancrent dans des problèmes de compréhension, en particulier, chez les personnes avec une DI. Nous étudions le recours à un système de communication reposant sur des pictogrammes dans le cadre de consultations médicales. Pour favoriser l'autodétermination des adultes avec une DI, nous évaluons leur compréhension de la langue médicale française lorsqu'elle prend la forme d'une traduction en pictogrammes. Nous proposons un cas d'utilisation original : nous adaptons au français Text-to-Picto, un système de traduction automatique du texte vers les pictogrammes, et l'enrichissons de manière à intégrer les pictogrammes Arasaac. Nous analysons ensuite les erreurs du système sur un corpus de phrases médicales, explorons diverses stratégies de simplification et de désambiguïsation automatiques, afin de proposer des explications médicales efficacement traduites en pictogrammes. La simplification et la désambiguïsation lexicale pour la traduction automatique du français vers les pictogrammes sont étudiées au travers d'une approche faisant appel au traitement automatique des langues : avec des règles, des ressources linguistiques et des modèles de langue (neuronaux, pré-entraînés, génératifs). Nos résultats sont comparables à l'état de l'art pour d'autres langues et montrent certaines améliorations par rapport à nos premières versions de Text-to-Picto. Dans le cadre de ces développements, nous avons créé plusieurs corpus d'évaluation, disponibles pour la recherche. Enfin, nous proposons deux études utilisateurs, qui évaluent la compréhension de pictogrammes isolés et de phrases en pictogrammes auprès d'adultes avec une DI. La première étude exploite des traductions générées par deux systèmes différents, Text-to-Picto et PictoDr, tandis que la deuxième se focalise sur la traduction d'une anamnèse dans le cadre du COVID-19. Les résultats montrent que plusieurs facteurs ont un impact significatif sur la compréhension.
Date
Octobre 2020 - Février 2025
Source de financement
Bourse FSR (2020-2021 et 2022-2024)
Équipe
Doctorante : Magali Norré (UCLouvain et Université de Genève)
Promoteurs : Prof. Thomas François (UCLouvain, ILC, CENTAL), Prof. Pierrette Bouillon (Université de Genève, FTI, TIM), Dr Vincent Vandeghinste (Instituut voor de Nederlandse Taal)
Quelques publications en lien avec le projet
Mutal, J., Bouillon, P., Norré, M., Gerlach, J. & Ormaechea, L. (2022). « A Neural Machine Translation Approach to Translate Text to Pictographs in a Medical Speech Translation System - The BabelDr Use Case », dans Proceedings of the 15th biennial conference of the Association for Machine Translation in the Americas (Volume 1: Research Track), Orlando, USA, pages 252–263. Association for Machine Translation in the Americas.
Norré, M., Vandeghinste, V., François, T. & Bouillon, P. (2022). « Investigating the Medical Coverage of a Translation System into Pictographs for Patients with an Intellectual Disability », dans Proceedings of the 9th Workshop on Speech and Language Processing for Assistive Technologies (SLPAT), Dublin, Irlande, pages 44-49. Association for Computational Linguistics (ACL).
Norré, M., Vandeghinste, V., Bouillon, P. & François, T. (2021). « Extending a Text-to-Pictograph system to French and to Arasaac », Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021), Varna, Bulgarie, pages 1050-1059.
Norré, M., Vandeghinste, V., Bouillon, P. & François, T. (2021). « Experiments for the adaptation of Text2Picto to French », 31st Meeting of Computational Linguistics in The Netherlands (CLIN 31), Gand, Belgique.
Norré, M., Bouillon, P., Gerlach, J. & Spechbach, H. (2021). « BabelDr : un système de traduction médicale avec des pictogrammes pour les patients allophones aux urgences et dans un secteur de dépistage COVID-19 », dans ATALA, La santé et le langage, France.
Norré, M., Bouillon, P., Gerlach, J. & Spechbach, H. (2021). « Evaluating the Comprehension of Arasaac and Sclera Pictographs for the BabelDr Patient Response Interface », dans Proceedings of 3rd Swiss Conference on Barrier-free Communication (BfC), Winterthur, Suisse, pages 55-63.
Norré, M., Bouillon, P., Gerlach, J. & Spechbach, H. (2020). « Évaluation de la compréhension de pictogrammes Arasaac et Sclera pour améliorer l'accessibilité du système de traduction médicale BabelDr », dans Actes de la 11e conférence de l'Institut Fédératif de Recherche sur les Aides Techniques pour personnes Handicapées (IFRATH). Technologies pour l'autonomie et l'inclusion, Paris, France, pages 177-182.
Toutes les publications de Magali Norré
-
-
ThèseNorré, M. (2025). Traduction automatique du français vers les pictogrammes pour améliorer la communication entre médecins et patients avec une déficience intellectuelle en milieu hospitalier.
-
-
-
Papier de conférenceSegonne, V., Mannion, A., Alonzo Canul, L. C., Audibert, A., Liu, X., Macaire, C., Pupier, A., Zhou, Y., Aguiar, M., Herron, F., Norré, M., Amini, M.-R., Bouillon, P., Eshkol-Taravella, I., Esperança-Rodier, E., François, T., Goeuriot, L., Goulian, J., Lafourcade, M., et al. (2024). Jargon: A Suite of Language Models and Evaluation Tasks for French Specialized Domains. Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation, 9463-9476. (Original work published 2024)
-
Norré, M., Pham, T. H. T., Bouillon, P., Vandeghinste, V., & François, T. (2024). Évaluation de la traduction en pictogrammes pour la communication médecin-patient par des adultes avec une déficience intellectuelle. In F. Bousefsaf, G. Thomann, Y. Morère (ed.), Proceedings de la 13e conférence de l’IFRATH sur les technologies d’assistance (p. p. 181-186). IFRATH.
-
-
-
Chapitre de livreBouillon, P., Gerlach, J., Norré, M., & Spechbach, H. (2023). Enhancing Speech Translation in Medical Emergencies with Pictographs. In Meng Ji, Pierrette Bouillon, Mark Seligman (ed.), Translation Technology in Accessible Health Communication (Cambridge University Press, p. p. 129-151). Cambridge University Press. https://doi.org/10.1017/9781108938976.006
-
Papier de conférenceCardon, R., Bibal, A., Souza Wilkens, R., Alfter, D., Norré, M., Müller, A., Watrin, P., & François, T. (2023). Annotation Linguistique pour l’Évaluation de la Simplification Automatique de Textes. In Servan, Christophe et Vilnat, Anne (ed.), Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 4 : art (ATALA, p. p. 35-48). ATALA.
-
Norré, M., Cardon, R., Vandeghinste, V., & François, T. (2023). Word Sense Disambiguation for Automatic Translation of Medical Dialogues into Pictographs. In Galia Angelova, Maria Kunilovskaya, Ruslan Mitkov (ed.), Proceedings of the International Conference Recent Advances in Natural Language Processing (RANLP 2023) (p. p. 803-812). INCOMA Ltd.
-
-
-
Papier de conférenceCardon, R., Bibal, A., Souza Wilkens, R., Alfter, D., Norré, M., Müller, A., Watrin, P., & François, T. (2022). Linguistic Corpus Annotation for Automatic Text Simplification Evaluation. Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, p. 1842–1866.
-
Mutal, J., Bouillon, P., Norré, M., Gerlach, J., & Ormaechea Grijalba, L. (2022). A Neural Machine Translation Approach to Translate Text to Pictographs in a Medical Speech Translation System - The BabelDr Use Case. Proceedings of the 15th Biennial Conference of the Association for Machine Translation in the Americas, 1, 252-263. (Original work published 2022)
-
-
-
Papier de conférenceNorré, M., Vandeghinste, V., Bouillon, P., & François, T. (2021). Extending a Text-to-Pictograph system to French and to Arasaac. In Galia Angelova, Maria Kunilovskaya, Ruslan Mitkov, Ivelina Nikolova-Koleva (ed.), Proceedings of Recent Advances in Natural Language Processing (p. p. 1050-1059). ACL Anthology.
-
Norré, M., Bouillon, P., Gerlach, J., & Spechbach, H. (2021). BabelDr : un système de traduction médicale avec des pictogrammes pour les patients allophones aux urgences et dans un secteur de dépistage COVID-19. TLH et Santé, 6-7. (Original work published 2021)
-
-
-
Papier de conférenceFrançois, T., Müller, A., Rolin, E., & Norré, M. (2020). AMesure: A Web Platform to Assist the Clear Writing of Administrative Texts. Proceedings of the 1st Confererence of the AACL: System Demonstrations, 1-7. (Original work published 2020)
-
Norré, M. (2020). Évaluation de la prédiction de mots dans un système de communication améliorée et alternative pour les personnes en situation de handicap : Presage et ACAT. In Uzan, Gérard, Jost, Céline (ed.), Handicap 2020 : technologies pour l’autonomie et l’inclusion (p. p. 183-188). Institut Fédératif de Recherche sur les Aides Techniques pour personnes Handicapées.
-
Norré, M., Bouillon, P., Gerlach, J., & Spechbach, H. (2020). Évaluation de la compréhension de pictogrammes Arasaac et Sclera pour améliorer l’accessibilité du système de traduction médicale BabelDr. In Uzan, Gérard, Jost, Céline (ed.), Handicap 2020 : technologies pour l’autonomie et l’inclusion (p. p. 177-182). Institut Fédératif de Recherche sur les Aides Techniques pour personnes Handicapées.
-
Article de journalNorré, M. (2020). Evaluation of a Word Prediction System in an Augmentative and Alternative Communication for Disabled People. Modelling, Measurement and Control C, 81(1-4), 49-54. https://doi.org/10.18280/mmc_c.811-409 (Original work published 2020)
-