ACLMay, 2023

从巧克力兔到巧克力鳄鱼：语言模型是否理解名词复合词？

PDF
TL;DR这篇论文提出了一种修改后的核心任务和评估方法，用于解决名词组解释和概念化的问题，并表明 GPT-3 在这两个任务上的表现都很出色，尤其是后者，因为它需要创造力、常识和知识的广泛推广能力。此外，研究人员估计了 GPT-3 处理新名词组的能力，并探讨了 GPT-3 的推理能力是否在与无脑地执行训练数据的策略之间取得平衡。
noun compound interpretationgpt-3conceptualizationknowledgereasoning
发现论文，激发创造
  • GPT-3 对新的英语名词复合词的解释的系统性

    研究 GPT-3 对英语名词复合词的解释是否遵循同样的概念原则，通过实验和构建提示，没有找到令人信服的证据来证明 GPT-3 的解释不仅限于单个词汇项目。

    Oct, 2022

  • SemEval-2013 任务 4：名词复合词的自由同义重组

    本文介绍了 SemEval-2013 任务 4 的定义、数据、评估和结果，并描述了该任务的目标是通过解释性改写捕捉英语名词复合词的一些意义。三个系统参加了任务，他们在其中一个评估措施上击败了简单基线，但在两个评估措施上都没有击败它。

    Nov, 2019

  • 学习预测新颖的名词 - 名词组合

    本文介绍了一种感知时间和语境的模型用于预测未知合成名词所表达的可信概念，该模型在在一个时间戳语料库上训练，可以识别真实的和虚假的合成名词。经测试，该模型在多大约 85% 的情况下能正确分类自动生成的新的合成名词并有五分之一的新合成名词被评定为可信。

    Jun, 2019

  • 揭示隐含名词复合关系

    提出使用神经模型来表示名词复合词的释义，并能够泛化到不常见的名词复合词及其释义，从而在 NLP 应用中提高名词复合词释义和分类的性能。

    May, 2018

  • 视觉 - 语言模型是否理解复合名词？

    开放词汇视觉 - 语言模型（VLMs）如 CLIP 是一种有前景的文本到图像检索方法，然而，对于复合名词（CN）是否能像对待名词一样理解得好呢？本研究构建了 Compun 基准测试以评估 VLMs 在解释 CNs 方面的有效性，并深入分析了 CLIP 对某些类型的 CNs 的有限理解。同时，提出了一种超越手写模板的替代框架，通过利用大型语言模型生成包含 CNs 的多样化描述来提高 CLIP 对 CNs 的理解。通过我们的方法在 Compun 上将 CN 的理解能力提高了 8.25%。

    Mar, 2024

  • 名词组合词解释的转移和多任务学习

    本文通过一系列实验和详细的误差分析，证明了参数初始化的迁移学习和参数共享的多任务学习可以帮助神经分类模型在高度倾斜关系分布上泛化。此外，我们演示了如何利用两个不同关系集合上的双重注释来提高神经分类器的整体准确性和 “F1” 得分，特别是在不太频繁但更难的关系上。

    Sep, 2018

  • 设计统计语言学习器：关于名词复合词的实验

    该论文通过提出一种新型设计实现语言分析，包括统计语言学习的理论贡献，将概率赋给语义形式而不是更表面的语言元素，以及通过实验证明在名词组分析方面，提出的句法模型明显优于先前提出的模型，语义模型第一次以统计方法解决该问题，显示出更高的准确性，为未来研究提出了广泛适用的数据需求理论。

    Sep, 1996

  • 英语名词复合词表示方法的系统比较

    比较了名词复合物的不同表示方法，发现复合函数往往比分布式函数更有效，并且不同的函数在不同情况下表现不同，建议采用联合训练以得到更好的表示。

    Jun, 2019

  • 神经机器翻译的语义表征分类

    加入原型引导的源端表示式，减少稀疏性和过拟合，以提高神经机器翻译的组成泛化性能。实验结果表明，该方法在多个机器翻译数据集上比 Transformer 基线方法表现更优。

    Oct, 2022

  • 运用认知心理学理解 GPT-3

    本文借助认知心理学的工具对最近的大型语言模型 GPT-3 进行了研究评估其在任务决策、信息搜索、思考以及因果推理方面的能力，结果显示 GPT-3 表现出的许多行为令人印象深刻，能够像人类一样解决任务，但也发现了其局限性，如对于因果推理任务失败，这些结果丰富了我们对当前大型语言模型的理解，并为进一步利用认知心理学工具研究越来越能干和难以理解的人工智能代理铺平了道路。

    Jun, 2022