Jan, 2024

学习快速捷径：关于语言模型中自然语言理解的误导承诺

PDF
TL;DR大型语言模型在自然语言处理领域取得了重要的性能提升，然而近期的研究发现，这些模型在执行任务时往往使用了捷径，导致性能看起来得到了提升，却缺乏泛化能力。这一现象给大型语言模型的自然语言理解评估带来了挑战。本文对该领域的相关研究进行了简明调查，并提出了对于捷径学习在语言模型评估中的影响的观点，特别是对于 NLU 任务。本文呼吁加大对捷径学习的研究力度，促进更加强大的语言模型的开发，并提高在实际场景中的 NLU 评估标准。
large language modelsshortcutsgeneralizabilitynatural language understandingnlu evaluation
发现论文，激发创造
  • 自然语言理解中大型语言模型的快速学习：综述

    本文介绍了大型语言模型的概念、挑战和解决方法，着重关注了数据集偏差和简化学习对其抗干扰性的影响，提出了识别和缓解这些影响的方法，并探讨了未来可能的研究方向。

    Aug, 2022

  • 大型语言模型可能是懒惰学习者：在上下文学习中分析快捷方式

    本篇研究旨在探索语言模型的泛化能力，结果表明语言模型更可能利用提示中的快捷方式，尤其是模型变得很大时。

    May, 2023

  • 针对自然语言理解模型的捷径学习行为进行解释和缓解

    本文研究表明，NLU 模型倾向于依赖于快捷特征进行预测，而不是真正理解语言。我们发现 NLU 训练集中的单词可以被建模为长尾分布，进一步提出了一种量化每个训练样例快捷程度的方法，并基于此提出了一个缓解快捷特征对模型训练的影响的框架 LTGR，实验结果表明这种方法可以提高模型对 OOD 数据的泛化能力，同时保持在分布数据上的准确性。

    Mar, 2021

  • 关于复杂大型语言模型的窘境（和优势）

    利用大型语言模型的自然语言处理是人工智能研究的一个繁荣领域。虽然神经网络已经证明在基于模式识别的游戏和实际领域中可以超越人类，但过度依赖 LLMs 会带来严重的风险，其中包括被用于生产虚假信息。这也引发了新的伦理挑战和各种类型的欺诈。

    Feb, 2023

  • 大型语言模型在预测神经科学结果方面超越人类专家

    通过大规模语言模型（LLMs）来预测神经科学实验结果，发现 LLMs 在预测实验结果方面超过了专家，并且经过优化的神经科学文献模型 BrainGPT 表现更好，这预示着人类与 LLMs 共同合作进行科学发现的未来。

    Mar, 2024

  • 使用语言模型的学习界限

    本文研究大语言模型在自然语言处理中的局限性，特别是无法学习一些基本语义属性，如语义蕴涵和一致性，以及不能学习超越 Borel 层次结构的概念，这对语言模型的语言理解能力产生了严重限制。

    Jun, 2023

  • 大型语言模型八大要点

    该论文调查了大型语言模型的八个潜在问题，包括其预测能力的增强，不可预测的行为的出现，对外部世界的学习和使用表示，行为引导技术的不可靠性，内部工作方式的解释困难性，性能上界不是人类任务表现，不一定表达其创建者或网络文本编码的价值观，与 LLMs 的简短交往经常是误导性的。

    Apr, 2023

  • 语言模型是否容易被语言幻觉欺骗？在句法方面较容易，在语义方面较困难

    语言模型的能力与人类在语法判断任务中的重叠度已被讨论，但当人类在语言处理中系统性地出现错误时，我们是否应该期望语言模型像语言认知模型一样模仿人类行为？通过研究与 “语言幻觉” 相关的语言模型更微妙的判断，本文回答了这个问题。研究发现，与需要复杂语义理解的比较幻觉和深度冲击幻觉相比，语言模型所代表的概率更可能与人类对结构依赖的 “负极性项目幻觉” 误判一致。没有一个单独的语言模型或度量方法能完全一致地与人类行为相符。最终，本文展示了语言模型在作为人类语言处理的认知模型以及识别复杂语言材料中微妙但关键信息的能力受到限制。

    Nov, 2023

  • 深度神经网络的快捷学习

    本文介绍深度学习中的 shortcut learning 问题，该问题用于在标准基准测试中表现良好的决策规则在更具挑战性的测试条件下失败，作者提出了一些模型解释和基准测试的建议，以改善从实验室到真实世界应用的稳健性和可迁移性。

    Apr, 2020

  • 大型语言模型（LLM）的几个类别：简要调查

    这篇研究论文总结了大型语言模型（LLMs）不同子类的最新发展，包括基于任务的金融 LLMs、多语言 LLMs、生物医学和临床 LLMs，以及视觉语言 LLMs 和代码语言模型。它还强调了聊天机器人和虚拟助手开发领域中的未解决问题，如增强自然语言处理、提升聊天机器人智能性以及解决道德和法律困境，旨在为对基于 LLMs 的聊天机器人和虚拟智能助手技术感兴趣的读者、开发者、学者和用户提供有用的信息和未来方向。

    Jul, 2023