May, 2023

显式化内含信息: NLP 中内含信息的一等公民

PDF
TL;DR该研究使用 LLM 将话语分解为逻辑和可信推理以及应用该技术改善了句子嵌入基准，推动着计算政治学和构建发现过程的前进。
nlp methodsinterpretive goalsllmlogical inferencesplausible inferences
发现论文，激发创造
  • 作为语言理解初步的，类型协同、表现力强的表示

    此论文研究语义分析中的一个初步形式 ——ULFs，并基于手动注释的语料库来训练精确的 ULF 解析器。作者认为，将 ULFs 导出作为语义分析的起点将能够更准确地解析语言含义，进而构建更准确的语义解析器。

    Mar, 2019

  • 明确规划有助于语言模型在逻辑推理中的表现

    在本文中，我们提出了一个使用语言模型进行多步逻辑推理的新型系统，该系统将显式计划纳入其推理过程中，从而通过向前看到它们的未来效果，能够在每一步上做出更明智的推理决策。在我们的实验中，我们的完整系统明显优于其他竞争系统，在多项选择题回答任务中，我们的系统表现与 GPT-3-davinci 相当，尽管只有约 15B 的参数。我们进行了几项削减研究，以证明显式计划在系统性能中起着重要作用。

    Mar, 2023

  • 人类和大型语言模型中潜在成分表示的主动运用

    人脑与大型语言模型在句子内部表征方面具有相似的层级结构，通过删除单词来推断句子的潜在分层结构，并证明了这种结构在人脑和语言模型中都能出现。

    May, 2024

  • 通过自动显性化填补翻译中的背景知识差距

    翻译帮助人们理解用另一种语言编写的内容，但即使是正确的直译，缺乏必要的背景也无法实现这一目标。为了弥补这一缺失的语境理解，专业翻译人员通过考虑源语言和目标受众之间的文化差异来进行明确说明。然而，由于缺乏适当的评估方法，NLP 研究对明确说明的探索还有限。本研究引入了一种基于从维基百科收集并由人类翻译人员注释的数据集「WikiExpl」的技术，以自动生成明确说明。所得到的明确说明在多语言问答框架中非常有用，能够更准确地回答问题。

    Dec, 2023

  • 自然语言推理模型是否令人印象深刻？学习隐含和预设条件

    本文在构建议程推理和预设的诊断数据集后，评估了在 MultiNLI 训练的 BERT、InferSent 和 BOW NLI 模型学习进行实用推理的能力。结果表明，尽管 MultiNLI 中的很少数的偶合类型表示，但 BERT 可以绘制实用偶合，而 BOW 和 InferSent 则表现出较弱的实用推理证据。

    Apr, 2020

  • 语言（再）建模：走向具身语言理解

    本文提出了基于具有体验认知语言学特征的表征和学习方法的自然语言理解系统架构，旨在利用隐喻推理和模拟的基础来提高自然语言理解系统的效率、可解释性和概括性。

    May, 2020

  • 您的模型能否区分否定与暗示？揭示意图编码的挑战

    通过使用三个任务（意图分类、意图聚类和新颖的三元组任务）来评估意图嵌入模型在语义理解方面的能力，研究使用预训练方法和数据增强来改善意图嵌入模型在实际对话系统中的性能。

    Mar, 2024

  • 机器实验语用学：测试 LLM 关于简单与嵌入式选择推理的预测

    通过与人类实验结果进行对比，使用先进的大型语言模型预测，本研究关注明确和嵌入的分明性推论以及常规数量意涵的三种推论，并发现模型结果与人类实验结果在这些推论的大幅差异以及精细差异方面基本一致。

    May, 2024

  • 大语言模型不是零 - shot 通信者

    这篇论文研究 LLMs 在理解语境方面的能力，通过实验发现目前的 LLMs 模型在完成只需要二进制推断的对话时表现平庸，需要进一步研究如何使得 LLMs 适应更贴合人类意图的对话模式。

    Oct, 2022

  • 复杂话语的自然语言分解和解释

    该研究介绍了一种通过分层自然语言分解处理复杂话语的方法来装备简单的语言代码模型，以实现自然语言接口的功能，实现了对几乎没有复杂训练数据的复杂话语的解释，并优于标准的少量提示方法。

    May, 2023