Dans le cadre de mon mémoire de Master 1 LITL (Linguistique, Informatique, Technologies du Langage), je m'intéresse au traitement du sens des mots par des systèmes informatiques (qui n'a jamais eu à se plaindre d'un outil de traduction en ligne ou d'un moteur de recherche qui tombaient à côté ?). Je sollicite des humains (de langue maternelle française) pour évaluer des systèmes !
La tâche à réaliser est très simple. Une phrase va vous être présentée. Dans celle-ci se trouve un mot "cible" (entre crochets). Au-dessous de cette phrase se trouve une liste de mots qui ont été proposés par des systèmes. La question est la même pour tous les mots : est-il un bon substitut dans la phrase ? Vous devrez répondre en donnant un score à chaque mot.
Un bon substitut est un substitut qui ne change pas le sens général de la phrase.
Bon substitut ----------------------------------> Impossible
3 -------------- 2 -------------- 1 --------------> 0
Exemple : Le ministre chargé de l'éducation nationale [arrête] la liste des langues que les candidats peuvent choisir à l'examen
> fixer = 3 (bon substitut)
> refuser = 0 (impossible : la phrase résultante fonctionne mais est de sens différent de la phrase de départ)
Remarques : les substituts proposés nécessitent parfois d'être accordés pour convenir à la phrase, cela ne doit pas vous gêner. De même, il peut arriver que la phrase soit un peu bancale, par exemple que l'on doive supprimer ou modifier une préposition, inverser la place de l'adjectif et du nom, ou que la phrase ne se termine pas par un point.
Répondez naturellement.
