Participations à des compétitions de résumé automatique

À chaque année depuis 2002, Guy Lapalme, avec des étudiants du RALI ou des collègues d'autres universités, ont participé aux Summarization Track des compétitions Document Understanding Conferences (DUC) et Text Analysis Conference (TAC) avec différentes approches.

  • DUC 2002 : Atefeh Farzindar a modifié SumUM sans en changer l'algorithme ou les patrons développés manuellement à partir de l'étude de corpus des résumés écrits par les résumeurs professionnels. Malgré le fait qu'il n'avait pas été développé pour le type de texte (articles de journaux) utilisé à DUC2002, SumUM s'est classé parmi les meilleurs systèmes de la compétition. [PDF]
  • DUC2003 : SumUM a été modifié pour participer à la compétition portant sur les résumés de documents multiples et a obtenu de très bons résultats. [PDF]
  • DUC2004 : Fouad Douzidia a développé Lakhas (لخّص - signifiant résumer en arabe), un système de résumé de textes journalistiques arabes basé sur la combinaison de méthodes d'extractions utilisées jusqu'ici en anglais. Lakhas a également été utilisé pour produire de très courts résumés en arabe lors de l'évaluation à DUC2004. Ces résumés étaient ensuite traduits en anglais avec un système de traduction automatique. Malgré le fait d'avoir suivi un chemin différent des autres compétiteurs, les résultats de l'évaluation ont été excellents et même les meilleurs lorsqu'on disposait du même système de traduction automatique que celui qui avait été utilisé pour traduire les autres textes. Les résultats complets de cette expérience sont décrits dans son mémoire de maîtrise. [PDF]
  • DUC2005 : CATS (Cats is an Automatic Text Summarizer) a été développé par Atefeh Farzindar et Frédérik Rozon au cours de l'été 2005. La tâche consistait à résumer, en moins de 250 mots, des groupes d'une vingtaine d'articles de journaux traitant du même sujet. Le résumé devait traiter d'un aspect particulier identifié par une question de quelques lignes. La performance de CATS a été excellente par rapport à l'ensemble de la trentaine de systèmes qui ont participé à la compétition. [PDF]
  • DUC2006 : Guy Lapalme s'est joint à l'équipe du Laboratoire Informatique d'Avignon (LIA) pour le développement d'un système combinant plusieurs approches différentes dont les résultats étaient ensuite combinés. [PDF]
  • DUC2007 : Fabrizio Gotti, Guy Lapalme (RALI) et Luka Nérima, Éric Wehrli (LATL, Université de Genève) ont développé GOFAISum (Good Old Fashion AI Summarizer) avec une approche totalement symbolique. Les textes à résumer sont analysés avec FIPS qui produit une analyse syntaxique en format XML. Cette sortie est ensuite traitée à l'aide de feuilles de style XSLT. [PDF]
  • TAC2008 : Pierre-Étienne Genest a poursuivi l'approche symbolique initiée par GOFAISum pour traiter les résumés incrémentaux (update task). Le système dénommé NESS s'est bien classé lors de la compétition. [PDF].
  • TAC2009: Le RALI a présenté deux contributions lors de cette conférence:
    • HexTAC: une soumission créée à l'aide d'une interface permettant à des résumeurs humains de créer des résumés par extraction. [PDF] [Page du projet]
    • Ness2: une approche en deux étapes pour le résumé de mise à jour. [PDF]
  • TAC2010: Pierre-Étienne Genest a testé une première approche de génération de texte pour générer les phrases identifiées pour figurer dans le résumé. L'analyseur syntaxique Minipar est utilisé pour analyser les textes à résumer et Simple-NLG est utilisé pour générer les phrases. [PDF
  • TAC2011: Perfectionnement de l'approche utilisée pour TAC2010 dans un nouveau cadre théorique.[PDF]
  • Il n'y avait pas de Summarization Track a TAC en 2012 et 2013
  • TAC2014Biomedical Summarization Track : résumé de l'impact d'un article en étudiant les citations qu'il a reçues d'autres articles. Bruno Malenfant y a participé au début de son PhD portant justement sur l'analyse de citations. [PDF]