ACLApr, 2021

以敏感度为序列分类任务的复杂度测量

PDF
TL;DR引入了一个理论框架来理解和预测序列分类任务的复杂性，使用布尔函数灵敏度理论的新扩展。在一些 NLP 任务中使用此框架，发现具有挑战性的任务比简单文本分类任务具有更高的敏感度，并且敏感度预测了低敏度解码器的表现。此外，表明高性能的预训练文本表示部分成功的原因是它们提供了低灵敏度解码器可以提取信息的表示形式
sequence classificationboolean function sensitivitynlp tasksgluepretrained contextual representations
发现论文，激发创造
  • Transformer 模型对学习低敏感性函数的简洁倾向

    通过对变压器在随机输入变化的敏感性进行研究，揭示了其简约偏差以及频谱偏差，并发现低敏感性偏差与提高鲁棒性相关，并可作为进一步提高变压器鲁棒性的有效干预手段。

    Mar, 2024

  • Transformer 模型中的简洁性偏好及其学习稀疏布尔函数能力

    本文对 Transformers 和 recurrent models 的归纳偏差进行大量实证研究，发现 Transformers 在形式语言的建模上相对较弱，但其在归纳偏差方面与 recurrent models 存在差异，可解释其在泛化性能方面表现优异。

    Nov, 2022

  • 光滑布尔函数很容易：低灵敏度函数的高效算法

    该文章证明了计算平滑的布尔函数的计算上界、点态噪声稳定性保证和局部纠正误差，为攻击布尔函数判断树猜想提供了新的证据和新方向。

    Aug, 2015

  • 为什么敏感函数对 Transformer 较难？

    在变压器架构下，输入空间敏感性限制了损失函数的变化趋势，使得变压器在一般化方面表现出低敏感性和低程度的偏好，并且在计算简单形式语言（如 PARITY）和长度一般化方面存在困难。

    Feb, 2024

  • 量化 LLM 对提示工程的敏感性和一致性：我做错了什么？

    使用两个度量标准（敏感性和一致性）来评估大型语言模型在分类任务中的性能，并希望它们能成为自动提示工程框架中寻求平衡鲁棒性与性能的有力工具。

    Jun, 2024

  • 提示在敏感性方面的差异如何？

    基于函数的敏感性进行全面的提示分析，揭示了敏感性作为模型性能的一个非监督代理，与准确度呈强负相关。通过梯度敏感度分数，实证展示了不同提示对输出的输入符号的相关性产生不同敏感度。还引入了敏感度感知解码，将敏感度估计作为标准贪婪解码中的惩罚项，特别适用于输入信息稀缺的情况。对提示的分析提供了新的视角，有助于更好地理解 ICL 机制。

    Nov, 2023

  • 关于上下文学习中敏感性和准确性之间的关系

    我们研究了上下文学习的灵敏度，并发现标签偏差使真实灵敏度难以确定。由此，我们提出了一种少样本选择性预测方法 —— extsc {SenSel}，此方法避免了敏感的预测，实验结果表明， extsc {SenSel} 在十个分类数据集上一致优于两个常用的基于置信度和熵的基准模型。

    Sep, 2022

  • 语义敏感度与不一致预测：衡量 NLI 模型的脆弱性

    通过评估自然语言推理模型对含有微小语义保留表面形式噪声的对抗生成样本的效果，我们提供了证据表明，最新基于转换器的自然语言理解模型对于细微的语义保留有敏感性，这导致了推理过程中明显的不一致性。这种语义敏感性会导致在模型预测中的性能降低 12.92% 和 23.71%。

    Jan, 2024

  • 神经网络中的灵敏度和泛化性：一项实证研究

    本研究通过对深度学习模型的多方面度量，特别是模型对输入扰动的敏感性度量，研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系，并得出结论：训练的神经网络在其训练数据范围内更加鲁棒，这种鲁棒性与泛化能力有关联，而诸如数据扩增和修正线性单元等好的泛化因素会带来更强的鲁棒性。

    Feb, 2018

  • 分析 NLI 模型的组合敏感性

    本研究通过实验验证，发现多个最先进的 NLI 模型都过度依赖词汇而无法使用组合语义，因此提出了一种可分析自然语言例句中 NLI 模型组成特性的测试设置，并在已有数据集上测试，这种测试设置可以帮助模型更好地了解复杂的含义，并为模型的改进提供机会。

    Nov, 2018