ACLMay, 2023

当今自然语言理解中 “超人类表现” 的含义是什么？

PDF
TL;DR在过去五年中，自然语言处理领域关注于发展更大的预训练语言模型和引入基准测试， 如 SuperGLUE 和 SQuAD，以测量其在语言理解、推理和阅读理解方面的能力。这篇论文对这些预训练语言模型声称的具有超人类能力以及当前基准测试的真正评估对象提出了批判性的看法，并指出了这些基准测试存在的严重局限性，提出了更公平、透明的基准测试建议。
发现论文，激发创造
  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • ElitePLM：预训练语言模型通用语言能力评估的实证研究

    本文介绍了一个对预训练语言模型（PLMs）的普适语言能力进行大规模实证研究的 ElitePLM，并设计了四个评估维度来衡量十种广泛使用的 PLMs，包括记忆、理解、推理和组合。实验结果表明，PLMs 在不同的能力测试中表现出色；下游任务中的微调通常对数据大小和分布敏感；PLMs 在类似任务之间具有出色的可转移性，并且 PLMs 的预测结果在我们的实验中作为开放资源发布，以进行更深入和详细的 PLMs 语言能力分析。这篇论文可以引导未来的工作选择，应用和设计特定任务的 PLMs。

    May, 2022

  • 尽管具有 “超人类” 表现，当前的 LLM 系统不适合进行伦理和安全决策

    提出了一种新的提示策略，其中包括要求大语言模型解释其推理过程，但结果表明，LLM 的误差与人类的误差存在系统性差异，这使得制作对抗性示例变得相对容易，表示人类表现并不一定意味着人类理解或推理能力。

    Dec, 2022

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023

  • 大型语言模型仍无法规划 (面向规划和变化推理的 LLM 基准测试)

    该研究提出了一种可扩展的评估框架来测试 LLMs 在行动和变化推理方面的能力，从而证明现有的推理基准测试是简单化的，无法支持关于 LLMs 推理能力的夸张的说法，并展示了 GPT-3、Instruct-GPT3 和 BLOOM 对这些任务的表现不佳。

    Jun, 2022

  • NLPBench：评估大型语言模型在解决 NLP 问题上的能力

    通过独特的基准数据集 NLPBench，评估了大型语言模型在自然语言处理中的问题解决能力，并发现高级提示策略的有效性不稳定，对 LLMs 性能有时造成损害，尤其是较小的模型 LLAMA-2（13 亿参数）中表现更明显；同时发现大型语言模型在科学问题解决能力方面存在特定的不足，逻辑分解和推理的薄弱性明显影响结果。

    Sep, 2023

  • 基于条件生成的大型语言模型性能基准测试

    本文提出如何将 PLMs 应用到现有应用程序特定的生成基准上，对输入和输出语言等不同维度的 PLMs 在自然语言生成任务方面的优点和局限性进行了深入的实证研究，并分享了在开发新 PLMs 时考虑到的基准生成能力的最佳实践。

    Jun, 2023

  • 核心竞争力视角下的大型语言模型评估调查

    从预训练语言模型（PLM）到大型语言模型（LLM），自然语言处理（NLP）领域已经取得了明显的性能提升和广泛的实际应用。为了解决评估 LLM 的困难，这篇论文调查了关于 LLM 评估的多篇论文，并总结了 LLM 的四个核心能力，包括推理、知识、可靠性和安全性。在这个能力结构下，相似的任务被合并以反映相应的能力，而新的任务也可以轻松地添加到系统中。最后，给出了关于 LLM 评估未来方向的建议。

    Aug, 2023

  • 语言模型零样本函数组合性的探索

    本文探讨了预训练语言模型的功能组合性问题，并指出当前的 PLMs（例如 GPT-2 和 T5）还没有具有功能组合性，远未达到人类级别的泛化能力。同时，对于零样本功能组合的语言模型提出了研究方向。

    Mar, 2023

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021