Comment arpenter sans mètre : les scores de résolution de chaînes de coréférences sont-ils des métriques ? - Conférences TALN RECITAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2020

Do the standard scores of evaluation of coreference resolution constitute metrics ?

Comment arpenter sans mètre : les scores de résolution de chaînes de coréférences sont-ils des métriques ?

Résumé

This paper presents an experimental research that investigates whether the most commonly used scores for evaluating the resolution of co-references constitute normalized similarity metrics. Considering systematic test suites, we verified whether the MUC, B3, CEAF, BLANC, LEA and CoNLL scorescomply with the formal properties that define such a metric. Our study shows that only the CEAFm score is potentially a normalized similarity metric.
Cet article présente un travail qui consiste à étudier si les scores les plus utilisés pour l’évaluation de la résolution des coréférences constituent des métriques de similarité normalisées. En adoptant une démarche purement expérimentale, nous avons vérifié si les scores MUC, B3 , CEAF, BLANC, LEA et le meta-score CoNLL respectent les bonnes propriétés qui définissent une telle métrique. Notre étude montre que seul le score CEAFm est potentiellement une métrique de similarité normalisée.
Fichier principal
Vignette du fichier
176.pdf (282.98 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte
Loading...

Dates et versions

hal-02750222 , version 1 (04-06-2020)
hal-02750222 , version 2 (06-06-2020)
hal-02750222 , version 3 (17-06-2020)
hal-02750222 , version 4 (23-06-2020)

Identifiants

  • HAL Id : hal-02750222 , version 4

Citer

Adam Lion-Bouton, Loïc Grobol, Jean-Yves Antoine, Sylvie Billot, Anais Anais Lefeuvre-Halftermeyer. Comment arpenter sans mètre : les scores de résolution de chaînes de coréférences sont-ils des métriques ?. 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). 2e atelier Éthique et TRaitemeNt Automatique des Langues (ETeRNAL), Jun 2020, Nancy, France. pp.10-18. ⟨hal-02750222v4⟩
392 Consultations
223 Téléchargements

Partager

Gmail Facebook X LinkedIn More