提出了一种多语言的词义消歧基准测试库（称为 XL-WiC），用于评估具有不同语言背景和资源可用性的模型，即使模型仅在英语数据上进行训练，仍能在跨语言学习中达到良好的性能。

Oct, 2020

本文阐述了词嵌入无法建模词语语义动态性的限制，并介绍了若干种解决该问题的方法，例如 sense embeddings 和 contextualized embeddings，同时指出目前缺乏适合评估动态语义的基准的不足，因此通过专家注释提出了具有广泛评估价值的大规模上下文感知语义数据集 WiC.

Aug, 2018

通过对 LLMs 在写作辅助任务上的能力进行评估，我们发现所有模型在将新信息纳入现有答案以及进行精确和明确编辑方面都有困难。此外，我们发现模型在判断其输出是否成功遵循用户指令方面也存在困难。研究结果表明，KIWI 将成为衡量进展和改进 LLMs 在知识密集型写作任务中的指令跟随能力的宝贵资源。

Mar, 2024

通过 Wizard-of-Oz 对话任务，探索了用户对已知事实的回应与对话参与度之间的相关性，进而提出一种结合用户先前知识的多任务模型，使得数字助手能够更好地理解用户需求并提高用户参与度。

May, 2020

RealKIE 是一个具有五个具有挑战性数据集的基准测试，旨在推进关键信息提取方法，重点关注企业应用。这些数据集包括一系列不同类型的文档，包括 SEC S1 文件，美国保密协议，英国慈善报告，FCC 发票和资源合同。除了介绍这些数据集外，我们还提供了详细的注释过程、文档处理技术和基准建模方法的描述，以促进开发能处理实际挑战并支持研究产业特定问题的信息提取技术的进一步研究。

Mar, 2024

本研究提供了一个名为 IIRC 的数据集，其中包含超过 13K 个来自英文维基百科段落的问题，并且这些问题只提供了部分信息以回答，丢失的信息出现在一个或多个链接的文档中。使用众包工作者编写问题，使得此数据集中的问题与答案出现的上下文表述差异大，包括许多需要离散推理的问题，难度较高。通过构建一种基准模型评测模型在该任务上的表现，本研究发现，该模型在 F1 得分上的表现为 31.1％，而人类性能则为 88.4％。

Nov, 2020

本文提出了一种基于 Wikipedia 的开源工具 WIKIR 来自动构建大规模英文信息检索数据集，提供了 wikIR78k 和 wikIRS78k 两种共 78628 个查询和 3060191 个 (query,relevant documents) 匹配数据的公开数据集，以解决当前深度学习方法在小数据集上表现不佳并难以进行学术研究问题。

Dec, 2019

本文提出了一种基于上下文和知识加权的对话生成模型训练方法，通过 Contextual Knowledge Learning (CKL) 过程，使用上下文和知识的潜在向量进行弱监督，从而实现对加权模型的训练，实验表明 CKL 方法可以有效提高模型性能并且在训练集较小的情况下能够保持稳健的性能。

May, 2023

我们构建了一种基于知识导向的大型语言模型评估基准，并通过使用维基百科和不断收集出现的语料库来确保数据的公正比较，评估 21 个开源和商业大型语言模型的能力和知识相关度。

Jun, 2023

我们介绍了知识导航本体（知识世界导航本体），这是第一个旨在捕捉日常知识以增强大型语言模型（LLM）在个人 AI 助手等实际生成 AI 应用场景中使用的本体。我们的领域是人类生活，包括日常关注和重要里程碑。我们仅模拟既定的人类普遍性概念：时空（地点、事件）和社交（人员、群体、组织）。模拟概念的包含标准是实用主义的，从普遍性和实用性开始。我们比较并对比了先前的工作，比如 Schema.org 和 Cyc，以及知识图谱和语言模型的综合尝试，指出 LLM 已经在内部编码了花费数十年时间才在 Cyc 项目中捕捉到的常识性知识。我们还提供了用于 12 种最流行编程语言的由代码生成的软件库，以便在软件工程中直接使用本体概念。我们强调简单性和开发者体验，以促进人工智能的互操作性。

May, 2024