Dec, 2022

更多地测量，更多地询问：基于 Transformer 的语言模型和补语迫使的实验研究

PDF
TL;DR本文针对变形金刚自然语言处理模型对于隐含意义的反应进行了研究，比较了存在和不存在隐含意义的句子中关键句的 surprisal 估计值，并在关键句所在位置及最小差异处发现了不同的影响。此外，作者使用了后续实验来排除潜在混淆因素，并揭示了不同视角对问题的更丰富且准确的解释。
发现论文，激发创造
  • 互补强制众包的异常失败

    本文介绍使用众包技术对补全强制现象进行注释的方法，提出了显式补全和自然语言推断两种任务，但是在众包过程中得分较低，通过分析本研究的建模方案和与以前研究的不同之处，我们得出结论，该现象需要量身定制的解决方案，不仅需要专业算法，还需要特定的数据收集方法。

    Oct, 2020

  • 基于 Transformer 的 NLI 模型中的自然逻辑特征因果效应估计

    利用因果效应估计策略衡量上下文干预和插入词对于推理标签的影响，通过广泛的干预研究验证模型对不相关变化的稳健性和对有影响变化的敏感性。

    Apr, 2024

  • 基于 Transformer 的因果语言模型进行聚类

    通过对合成数据集的分析，我们发现大规模语言模型通过将数据在其隐藏空间内进行聚类学习特定任务的信息，并且这个聚类过程在学习过程中动态演化，从而帮助模型处理未知的实例。

    Feb, 2024

  • 大语言模型不是零 - shot 通信者

    这篇论文研究 LLMs 在理解语境方面的能力，通过实验发现目前的 LLMs 模型在完成只需要二进制推断的对话时表现平庸，需要进一步研究如何使得 LLMs 适应更贴合人类意图的对话模式。

    Oct, 2022

  • 因果干预揭示了常识语言理解中的隐含情景模型

    通过对最近的变形器模型应用因果干预技术分析了词义消歧问题上 “情境模型” 的表现，特别是注意头回路在隐含情境模型建立中发挥的作用及其通过不同路径对代词解析的引导方式进行比较。

    Jun, 2023

  • 基于 Transformer 的语言模型惊奇度在使用约 20 亿训练令牌时最能预测人类阅读时间

    本文研究了基于 Transformer 的语言模型中，各种训练数据和不同容量的模型对于预测人类阅读时间的作用，并发现多数具有当代模型能力的变体，使用约 20 亿个训练标记后，所给出的 surprisal estimates 提供了最佳适合度，而较大的预先训练语言模型的较差适合度主要归咎于大量的训练数据，而 transformer-based 语言模型的某种程度的模型容量对于模型要捕捉类似于人类的期望是必要的。

    Apr, 2023

  • 用于跨语言评估的基于逻辑的语料库

    本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。

    May, 2019

  • 训练于编程语言的语言模型中有意义迹象的证据

    本文研究使用程序语言这一中间测试平台，探究语言模型是否能够理解语义，并发现 Transform 模型可通过样例抽象出当前和未来程序状态，使用的探测器准确率与执行输入所生成的程序一致。文中还提出了一种语义干预的实验方法，并展示了模型能够生成更短、更正确的程序。

    May, 2023

  • 对比学习句向量的非语言监督

    本文提出了一种多模态多任务的 Transformer 模型，通过对句子和非语言数据对比学习的方式来提高句子编码器的性能，并在基准测试中获得了更高质量的语义文本相似性结果。

    Sep, 2022

  • 神经语言模型中的隐含意义表示

    研究表明预先训练的神经语言模型中的预测至少部分地由意义的动态表示和实体状态的隐含模拟支持，并且这种行为可以仅依靠文本作为训练数据来学习。

    Jun, 2021