Sep, 2023

OYXOY:用于现代希腊语的现代自然语言处理测试套件

TL;DR本论文旨在为希腊自然语言处理(Greek NLP)领域开发一个基于语言学动机和技术相关的评估套件,通过引入四个专家验证的评估任务来实现这一目标,这些任务特别针对自然语言推理、词义消歧(通过示例比较或意义选择)和隐喻检测。同时,我们贡献了两个创新,既是我们推理数据集是首个标注所有可能的推理标签的数据集,也是通过使用 ChatGPT 作为语言中立的解析器以成本效率高的方式获取到面向资源不足语言的数据集。通过对每个任务进行实验,使用现有的最先进技术,我们确认了任务的挑战性,并强调希腊 NLP 生态系统需要加速进展以与当代主流研究保持同步的需求。