ACLMay, 2021

上下文嵌入空间外流形正则化用于文本分类

PDF
TL;DR本文提出了一种新的方法来找到和规范称为流形之外的剩余空间，利用两个从实际观察到的单词获得的嵌入，我们合成了流形之外的嵌入，训练鉴别器检测输入的嵌入是否位于流形之内，同时优化生成器。通过在各种文本分类基准上进行全面评估，证明了我们的方法的有效性以及其良好兼容性。
neural networkspre-trained weightsembedding vectorsfine-tuningout-of-manifold
发现论文，激发创造
  • 基于文本多样性流形的自然语言对抗样本防御

    本文研究了利用预训练语言模型诱导的上下文嵌入空间中的对抗文本的嵌入发散现象，并提出了一种基于嵌入流形的文本防御机制，将文本嵌入映射到近似嵌入流形上进行分类，从而增强模型的鲁棒性。实验证明，该方法在不牺牲准确性的前提下，在各种攻击设置下始终显著优于以前的防御方法。

    Nov, 2022

  • 通过流形逼近和投影实现的无监督句子嵌入

    该研究提出了一种名为 EMAP 的新技术，通过将句子投射到一个固定维度的流形上，以保留原始空间中的局部邻域来无监督地生成句子嵌入，可以用于文本分类，实验证明该方法性能优于其他最先进方法。

    Feb, 2021

  • 流形正则化鉴别性神经网络

    该研究探讨了深度神经网络中过拟合问题的原因，并提出了基于流形假设的正则化方法，包括有标签和无标签情况下的流形正则化，实验证明这些方法可以显著提高模型泛化性能。

    Nov, 2015

  • 利用矩阵流形推理单词嵌入中的语言规律

    本文介绍了一种基于 Grassmannian 的新方法，旨在通过建模单词集合所围成的子空间来捕获连续词向量表示中的类比关系，该方法利用测地核的修改余弦距离模型捕获跨单词类别的关系特定距离，实验结果表明与以前的方法相比，本方法在类比任务上表现显著改善。

    Jul, 2015

  • 使用对抗样本的流形正则化深度神经网络

    提出一种新的深度神经网络训练目标函数，叫做流形规范网络（MRnet），通过最小化样本和对抗样本的多层嵌入结果之间的差异来提高对抗性鲁棒性，实验结果表明 MRnet 更具有对抗性鲁棒性，并帮助我们在流形上推广表示。此外将 MRnet 和 dropout 相结合，为三个著名的基准测试数据集（MNIST，CIFAR-10 和 SVHN）实现了有竞争的分类性能。

    Nov, 2015

  • 流形上的投影梯度下降算法

    本文提供了一种可计算、直接且数学严谨的方法，用于近似高维数据的类流形的微分几何，以及从输入空间到这些类流形的非线性投影。该方法应用于神经网络图像分类器的设置中，在流形上生成新颖的数据样本，并实现了流形上的对抗训练的投影梯度下降算法，以解决神经网络对对抗性攻击的敏感性问题。

    Aug, 2023

  • 用校准语言模型微调在内部和外部分布数据

    本文提出了一种经过正则化的 fine-tuning 方法，通过在数据流形内插值产生假样本，加强 In-distribution 采样的平滑性；同时通过在采样流形外的假样本输出平均分布的方式来提高 OOD 数据的可靠性，实验证明了该方法的有效性。

    Oct, 2020

  • 流形学习对 GAN 的优势

    本文在生成对抗网络中引入流形学习方法来打磨辨别器，考虑局部约束线性和基于子空间的流形以及局部约束的非线性流形，利用流形学习和编码的设计将中间特征表示映射到流形上，并通过协调特征表示和流形视图之间的差异性，实现去噪和流形精细化的两难平衡，并在实验中发现局部约束的非线性流形优于线性流形，性能也明显优于现有的基线算法。

    Dec, 2021

  • 深度神经网络内存高效训练的流形正则化

    本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。

    May, 2023

  • LDMNet: 低维流形正则化神经网络

    通过使用 Low-Dimensional-Manifold-regularized neural Network 来加强神经网络的特征提取，有效提高了在小样本情况下的泛化能力并且可以应用于同种物体的跨光谱识别。

    Nov, 2017