HyperLex是一份数据集和评估资源，旨在量化语义类别成员资格的范围，即类型关系，也称为下位词-上位词或词汇蕴含关系。通过将数百名英语母语者作为研究对象，我们证实了类别成员资格和下位词-上位词关系更多是渐进的而非二元的。通过将人的研究成果和自动系统的预测作比较，我们发现两者之间存在巨大的差距，讨论了改进语义模型的途径，并指出了改进评分LE系统的未来应用领域。

Aug, 2016

本文旨在填补对上下文依赖词向量表示评估的空白，介绍了一个新数据集CoSimLex，它提供了基于上下文的相似度量，不仅涵盖了单词意义上的离散差异，而且涵盖了更微妙、更连续程度的意义变化，并且覆盖了不只一个语言。

Dec, 2019

本文探究了利用双语词典作为文本资源，从而使得多语言预训练模型的性能不再依赖于单一语种下的文本数据，通过不同策略合成文本或标注数据，并与单语文本或平行文本相结合，以提高在三个任务上19种欠发达语言的性能，为千余种使用NLP技术的欠代表语种提供了思路。

Mar, 2022

本文首先引入了Super-NaturalInstructions,一个包含1616个不同类型的NLP任务及其指令的跨任务基准，通过构建Tk-Instruct模型，能够在超过九个百分点的水平上优于目前现存的模型，并对不同的模型参数进行了进一步的分析以期实现更通用的NLP模型。

Apr, 2022

使用 Transformer 架构的进步，促进了法律 NLP 领域的发展。为了评估其发展，需要有好的基准数据集。但是目前大部分基准数据集只有英文，而且其中缺少多语言数据集。为此，作者选择了 11 个涵盖 24 种语言的数据集，并创建了 LEXTREME。该工作提出了两种聚合得分，一种基于数据集，一种基于语言。最佳基线模型（XLM-R large）的数据集聚合得分和语言聚合得分均为 61.3，表明 LEXTREME 仍具有很高的挑战难度。为了方便研究人员和从业者使用，作者将 LEXTREME 公开在了 huggingface 并提供了所有用于评估模型的代码以及包括所有运行结果的 public Weights and Biases 项目。

Jan, 2023

本论文提出了一个系统化的分类方法，将LLMs领域专业化技术分类，并讨论了适用于这些技术的关键应用领域的问题和前景，对当前研究状态和未来趋势进行了深入剖析。

May, 2023

自然语言生成（NLG）评估中引入大型语言模型（LLM）为评估生成内容质量提供了新的途径，本文提供了对利用LLM进行NLG评估的全面概述，包括组织现有基于LLM的评估指标的一致性分类法、批判性评估不同的LLM方法以及比较其在评估NLG输出中的优势和局限性，讨论未解决的挑战，并推动更公平、更先进的NLG评估技术。

Jan, 2024

提出了一个新模型来生成多领域环境下六种印度语言的词典词汇，该模型包括特定领域和通用领域层，通过可学习的路由技术调用这些层，同时还提出了一种利用这些印度语言之间相关性实现连贯翻译的方法。还发布了一组跨越八个不同领域的六种印度语言的基准数据集，以促进进一步的领域特定词库归纳研究，并在多个领域进行了零样本和少样本实验，展示了我们提出的模型在泛化到未见领域和未见语言上的效果。

May, 2024

大型语言模型（LLMs）在定义和执行复杂的创造性自然语言生成（NLG）任务方面带来了前所未有的灵活性。然而，这种灵活性也带来了新的挑战，因为它在制定任务输入和指令以及评估模型性能方面引入了新的自由度。为了促进创造性NLG任务的探索，我们提出了一个由系统输入操作、参考数据和输出度量组成的三组件研究框架。我们使用该框架来研究引文文本生成——这是一个在学术界的NLP任务中广受欢迎的任务，对任务定义和评估指标缺乏共识，并且尚未在LLM范式中解决。我们的结果凸显了在提示LLMs时系统地调查任务指令和输入配置的重要性，并揭示了用于引文文本生成的不同评估指标之间的非平凡关系。额外的人工生成和人工评估实验为指导未来的引文文本生成研究提供了新的定性见解。我们公开提供我们的代码和数据。

Jul, 2024

本文解决了当前评价大型语言模型（LLMs）在遵循自然语言指令方面的局限性，主要集中于碎片化的约束和狭窄场景。我们提出了CFBench，一个大规模的综合约束遵循基准，通过1000个样本覆盖200多个真实场景和50多个NLP任务，创新性地构建了约束类型的系统框架。评估结果显示，当前领先的LLMs在约束遵循方面还有显著提升空间，为模型的改进提供了方向。

Aug, 2024