Jul, 2021

猫喝咖啡了吗？挑战以普适事件知识为基础的转换器

PDF
TL;DR本文研究了计算模型预测给定谓词的语义匹配能力。作者考虑了问提中的更广泛视角，评估了计算方法在评估语言描述的事件和情况（广义事件知识）的典型性信息方面的应用。结果表明 TLM 与 SDM 相当，但 TLM 的预测通常取决于表面语言特征，因此显示出次优的推广能力。
computational modelstransformers language modelsevent knowledgethematic fitsyntactic patterns
发现论文，激发创造
  • 大型语言模型中的事件知识：不可能与不太可能之间的差距

    研究人员测试了大型语言模型是否能够生成可信的真实世界事件描述，并发现这些模型虽然能够区分可能和不可能的事件，但在区分可能性较小的事件时仍然比人类表现差，这突显了 LLM 在事件知识方面存在的局限性。

    Dec, 2022

  • 使用 Transformer 模型进行语义流畅性的认知建模

    使用前沿的深度语言模型进行超参数猜测，探讨这些模型设计的局限性，以追求认知行为的个性化描述符；在预测语义流畅性任务表现时，我们使用了几种方法来预测下一个发言，表明 TLM 可以更好地计算个体差异和人类记忆提取策略，为知识表示的认知建模提供新思路。

    Aug, 2022

  • 多语言事件处理的动词知识注入

    研究了在预训练的深度 Transformer 网络中注入谓词的语义 - 句法信息对其语言能力及事件提取任务表现的影响。结果表明这一方法能够提高英语及其他语言的事件提取任务性能。

    Dec, 2020

  • 基于时间戳的语言模型：教授语言模型理解事件流

    使用时间戳编码的语言模型，将追踪实体的过程转化为问题回答问题的任务，取得了较好的结果。

    Apr, 2021

  • 语言模型可通过少量示例引入推理，从而提高事件预测能力

    本文研究了大型语言模型在实际事件中实现推理的能力，设计了一个建模和预测框架，其中大型语言模型执行推断，以协助事件序列模型提高预测准确性，并通过在 Amazon Review 和 GDELT 两个具有挑战性的实际数据集上进行的广泛实验，展示了我们的框架的性能优势。

    May, 2023

  • 使用 Transformer 测量神经证明生成中的系统化概括能力

    研究 Transformer 语言模型在自然语言中进行基于逻辑推理的任务，探究它们的系统泛化能力，发现其在逆向推理证明方面表现更优，并且发现没有经过证明生成训练的模型更适合处理长证明的问题。研究结果强调了 TLM 在逻辑推理中的系统泛化行为，并且对其核心推理策略的深入研究提出了启示。

    Sep, 2020

  • 使用一致的概念抽象建立事件可信度模型

    本文研究证明对自然语言的理解需要常识，其中之一是辨别事件的可信度。这篇论文探讨了基于 Transformer 的可信度模型在词汇等级概念类别方面的不一致性，并提出了强制模型一致性的后续方法，以提高与人类可信度判断的相关性。

    Apr, 2021

  • 使用语言模型起草事件模式

    本研究使用大型语言模型通过自然语言来起草事件模式，之后通过人工技术进行进一步的修订并将事件知识萃取到模式中。通过实验证明，大型语言模型在两个数据集中取得了适当的关键事件回调，并且我们的方法为更轻松地从大型语言模型中提取事件知识提供了可能性。

    May, 2023

  • 掌握 Transformer：隐含的推理者 —— 通向泛化极限的机械之旅

    我们研究 transformers 模型是否能够学会隐性地进行参数化知识推理，发现它们能够通过全面且超过过拟合的训练学会隐性推理，但在不同推理类型上的推广程度存在差异：在面对分布之外的例子时，transformers 在组合推理上无法进行系统化推广但在比较推理上能够成功。通过训练期间对模型内部进行分析实验，我们发现了隐性推理的机制，如泛化电路的形成以及它与泛化和记忆电路相对效率的关系，还发现了系统性与泛化电路配置之间的关系。我们的研究结果指导着数据和训练设置，以更好地实现隐性推理，并提出了改进 transformer 架构的潜在方法，如鼓励跨层面的知识共享。此外，我们证明对于具有大型搜索空间的具有挑战性的推理任务，基于非参数化记忆的 GPT-4-Turbo 和 Gemini-1.5-Pro 无论在提示样式还是检索增强方面都表现糟糕，而完全掌握隐性推理的 transformers 模型能够实现近乎完美的准确性，展示了参数化记忆在复杂推理中的威力。

    May, 2024

  • 对比微调生成式脚本事件预测方法

    本文提出了一种基于事件中心预训练的生成式方法，其使用预先训练的语言模型 Fine-Tune 并通过对序列可能性的预测进行预测，从而软建模事件之间的关联。

    Dec, 2022