Séminaires RALI-OLST-ILFC
Les mercredis à 11 h 30 (heure de Montréal), nous tenons un séminaire d'une heure portant sur un sujet du traitement des langues ou de linguistique. Il est typiquement offert en mode hybride (présentiel & vidéoconférence). Une fois par mois, le séminaire est organisé par le groupe de recherche français Linguistique Informatique, Formelle et de Terrain.
ALF : Un jeu de données d'analogies françaises à grains fins pour évaluer la connaissance lexicale des grands modèles de langue.
Alexander Petrov (alexander (point) petrov <at> umontreal (point) ca)
RALI, DIRO
Le mercredi 5 mars 2025 à 11 h 30
Salle 3195, Pavillon André-Aisenstadt — En présentiel, avec diffusion simultanée sur Zoom
La révolution indéniable engendrée par les grands modèles de langue (LLM) provient de l'incroyable fluidité des textes qu'ils génèrent, maîtrisant la langue avec une finesse quasi-humaine. Cette fluidité soulève une question scientifique clé : quelle quantité de connaissance lexicale les LLMs capturent-ils réellement pour produire un langage aussi fluide ? Pour y répondre, nous présentons ALF, un ensemble de données analogiques librement accessible, doté d'une riche information lexicographique ancrée dans la Théorie Sens-Texte. Il comprend 3810 analogies lexicales à grains fins avec lesquelles nous évaluons la capacité lexicale de quatre LLMs, soient ChatGPT-4o mini, Llama3.0-8B, Llama3.1-8B et Qwen2.5-14B. En moyenne, les séries ChatGPT et Llama affichent une précision d'environ 45 %, tandis que Qwen dépasse tout juste le seuil de 50 %, qualifiant ainsi ALF d'un jeu de données difficile. Nous identifions également certains types d'analogies et de méthodes d'amorces (prompting) qui révèlent des disparités dans les performances.
Joignez-vous à nous avec Zoom à l'aide de cette URL.
ID de réunion : 916 9097 5818, Code : 343273.
Numéros de téléphone : https://umontreal.zoom.us/u/abitNZzLg.
One tap mobile : +14388097799,,91690975818#,,,,,,0#,,343273#
Suivez ce lien pour vous inscrire à la liste de diffusion RALI-OLST.
http://rali.iro.umontreal.ca/rali/?q=fr/node/1631
Liste de tous les séminaires pour l'année :
1991 1992 1993 1994 1995 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024 2025