Oct, 2022

通过四个实验探针理解基于 Transformer 的语言表示模型中的先验偏差和选择瘫痪

PDF
TL;DR本文研究了基于 transformer 的神经网络在自然语言理解方面的多项选择问题，主要针对先验偏差和选择麻烦等问题做了四项混淆测试，并表明该模型在应对这些问题时表现出明显的偏差和选择麻烦，建议需要进一步增强测试协议和基准测试以确保语言模型在面向实际决策的系统中得到合理的应用。
transformer-based neural networksnatural language understandingmultiple-choiceprior biaschoice paralysis
发现论文，激发创造
  • 关于大型语言模型在多选题中的选择偏差

    通过对大型语言模型中多项选择题的研究，我们发现选项编号与选择偏见之间存在密切关系。为了减轻选择偏见，我们提出了一种名为 PriDe 的新方法，它通过计算先验分布来解决这一问题，该先验分布将选项内容与选项编号分离。PriDe 方法不仅无需标签，而且在推断过程中具有更高的效果和计算效率，通过对不同领域的样本进行训练，我们证明了 PriDe 方法估计出的先验分布具有良好的泛化能力，在更广泛的场景中具有实用潜力。

    Sep, 2023

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 基于 Transformer 的自然语言理解任务压力测试

    本文通过对三种基于 Transformer 的模型（RoBERTa，XLNet 和 BERT）在自然语言推断（NLI）和问答（QA）任务中的评估研究，发现这些模型在脆弱性测试中表现比循环神经网络模型更鲁棒，但仍具有各种意外行为，展示了在这个领域仍有改进的空间

    Feb, 2020

  • 神经机器翻译中的不确定性分析

    本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

    Feb, 2018

  • Transformer 模型的简单有效的自我去偏见框架

    本文提出了一种基于 Current Transformer 的 NLU 的自校正框架，该框架可以减少来自数据集偏见的干扰，从而提高对 Out of Distribution 数据的处理能力。

    Jun, 2023

  • 多选题问答系统的期望

    本研究对最近在多项选择题回答（MCQA）数据集中取得高分的模型进行扰动实验，发现其表现不符合语言理解的人类期望，提出了一种新的训练方法，使模型更好地学习输入数据并使模型性能更好。

    Nov, 2020

  • 利用 Transformer 的双向编码表示进行答案选择

    本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

    Nov, 2020

  • 非自然语言推论

    通过一个明确的指标，我们提出了多种度量方法，并研究了哪些特定的排列方式使得大型 Transformer NLU 模型在自然语言推理任务中对随机词序具有一定程度的规律性。我们对此现象进行了综合实证评估，发现无论是基于 Transformer 还是基于 pre-Transformer RNN / ConvNet 结构的编码器，以及跨多种语言（英语和中文）都存在此问题，并提供相关数据和代码。

    Dec, 2020

  • 预训练语言模型是否可疑？从因果视角理解隐形风险

    本文探讨了基于问题提示的探测方法可能存在的偏见、不一致性和不可靠性，强调了通过因果干预来消除偏差的必要性，并提出了更好的数据集设计、探测框架和更可靠的预训练语言模型评估标准。

    Mar, 2022

  • 使用人工语言检验神经语言模型的归纳偏差

    该研究提出了一种新颖的方法，使用人造语言验证语言模型的归纳偏见，并发现常用的神经架构在处理语句单词排序方面存在不同的归纳偏差。

    Jun, 2021