Séminaires RALI-OLST

High-Quality Human Evaluation of Generated Texts

Ehud Reiter (e (point) reiter <at> abdn (point) ac (point) uk)

University of Aberdeen (ehudreiter.com)

Le lundi 13 mai 2024 à 10 h  — Jour et heure différents - Meetup de CLIQ.ai

Salle 3195, Pavillon André-Aisenstadt — Diffusion simultanée sur Zoom


Human evaluation is the best way to evaluate text generation systems *if* it is done rigorously, with good experimental design, execution, and reporting. Unfortunately many of the human evaluations in NLP have quality problems including poor experimental execution and questionable experimental design; many evaluations are also difficult to reproduce. I will summarise our recent work on developing high-quality human evaluations techniques and protocols, on analysing problems in experiments done elsewhere, and on reproducing human evaluations.



Joignez-vous à nous avec Zoom à l'aide de cette URL.
ID de réunion : 916 9097 5818, Code : 343273.
Numéros de téléphone : https://umontreal.zoom.us/u/abitNZzLg.
One tap mobile : +14388097799,,91690975818#,,,,,,0#,,343273#


Suivez ce lien pour vous inscrire à la liste de diffusion RALI-OLST.
http://rali.iro.umontreal.ca/rali/?q=fr/node/1631

Liste de tous les séminaires pour l'année :

1991 1992 1993 1994 1995 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024