Jan, 2024

发现困扰预训练语言模型的具有挑战性的隐喻

PDF
TL;DR对 VUA 隐喻数据集进行分析发现，很多隐喻对下游任务的性能产生很小的影响，因此需要将研究者的注意力转移到那些具有挑战性的隐喻上。为了识别出难度较大的隐喻，本文提出了一个自动化流程，并对各种热门 NLP 系统的机器翻译准确率降低了 16％、问答性能降低了 4％、自然语言推理降低了 7％、隐喻识别回忆率降低了超过 14％。
发现论文，激发创造
  • 构造难题之难即使对于大语言模型也因错误原因而被解决

    我们通过引入具有大量词汇重叠的自然语言推理的小型挑战数据集，从 NLP 的角度出发，展示了 GPT-4 和 Llama 2 在此方面的失败，同时从计算语言学的角度，我们发现一组无法通过表面特征区分的三类形容词结构，进而探索 LLM 对这些结构的理解，在多个方面我们发现它们在区分和理解上存在多种失败，这表明它们未充分代表其含义或捕捉词组中词性的特性。

    Mar, 2024

  • 机器学习对矛盾检测模型的语言学研究：实证分析和未来展望

    分析了两个自然语言推理数据集的语言特征，发现机器学习模型难以理解介词和动词语义重要性，不能理解反义词和同音词，不能理解不完整的句子和罕见单词短语，因此需要在训练过程中尽可能利用更多外部知识。

    Oct, 2022

  • 基于深度语言处理的深度学习评估

    本文讨论了用于视觉问答等任务的标准评估方法存在的问题，并认为人工数据可以作为当前实践的补充来解决这些问题。我们展示了利用现有的 “深度” 语言处理技术可以创建具有挑战性的抽象数据集，这些数据集使我们能够详细研究多模态深度学习模型的语言理解能力，与静态和单一数据集上的单一性能值相比。

    Jun, 2017

  • IllusionVQA：一个为视觉语言模型设计的具有挑战性的视错觉数据集

    Vision Language Models are tested on the IllusionVQA dataset, revealing their performance and weaknesses in comprehension and soft localization tasks, particularly in the context of optical illusions and In-Context Learning.

    Mar, 2024

  • 视觉 - 语言模型的不确定性感知评估

    提出了一种利用置信度量化的方式评估视觉 - 语言模型，研究发现模型的不确定性与准确性存在相关性。

    Feb, 2024

  • 用于跨语言评估的基于逻辑的语料库

    本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。

    May, 2019

  • 神经机器翻译中语义现象的自然语言推理评估

    本文提出一个过程，用于研究神经机器翻译 (NMT) 系统生成的句子表示如何编码不同的语义现象，最终发现编码器最适合在语法 - 语义界面上支持推理，而不是需要世界知识的指代消解。

    Apr, 2018

  • PuzzLing Machines: 从小数据学习的挑战

    介绍了一个名为 PuzzLing Machines 的小数据学习挑战，该挑战包含来自语言奥林匹克的石碑难题，展示了目前包括最先进的深度神经网络模型在内的简单的统计算法无法完成这一挑战，这启发了新的 NLP 发展方向 -- 人类般思考的理解。

    Apr, 2020

  • PuzzleVQA: 通过抽象视觉模式诊断语言模型的多模态推理挑战

    通过对抽象模式的基本概念进行评估，我们发现大型多模态模型在简单抽象模式上无法很好地泛化。通过对大型多模态模型的推理挑战进行系统分析，我们发现主要瓶颈在于较弱的视觉感知和归纳推理能力。

    Mar, 2024

  • 使用多重量化语句进行自然语言推理神经模型的压力测试

    本文提出了一种生成数据集的方法，用于生成特定的自然语言推理例子，从而更精确地表征语义复杂性，并指出仅强制词汇对齐的模型可以避免关键信息的损失。

    Oct, 2018