应用变分信息瓶颈和对比学习减少情感分析中的伪相关性

Mar, 2023

应用变分信息瓶颈和对比学习减少情感分析中的伪相关性

Reducing Spurious Correlations for Aspect-Based Sentiment Analysis with Variational Information Bottleneck and Contrastive Learning

PDF

Mingshan Chang, Min Yang, Qingshan Jiang, Ruifeng Xu

TL;DR本文提出了一个名为 CVIB 的新型对比变分信息瓶颈框架，用于减少深度模型在输入特征和输出标签之间的虚假关联问题，并通过在原始网络和自剪枝网络之间使用对比学习来同时优化这两个网络。实验表明，该方法在整体预测性能、鲁棒性和泛化性等方面均优于强竞争对手。

Abstract

deep learning techniques have dominated the literature on aspect-based sentiment analysis (ABSA), yielding state-of-the-art results. However, these deep models generally suffer from spurious correlation problems

deep learning aspect-based sentiment analysis spurious correlation information bottleneck contrastive learning

发现论文，激发创造

有效低资源微调的变分信息瓶颈

本文提出使用变分信息瓶颈 (VIB) 来压制过拟合和提高低资源情景中的传输学习，并证明我们的方法成功地降低了过拟合，提高了泛化能力。我们的 VIB 模型发现的句子表示更加鲁棒且能够在自然语言推断数据集中更好地泛化到领域外数据集，实验结果表明我们的方法显著提高了传输学习，并在 13 个领域外自然语言推断基准测试中提高了泛化能力。

Jun, 2021

通过信息瓶颈学习内在维度以实现可解释的基于方面的情感分析

基于梯度的解释方法在自然语言处理中被越来越多地用于解释神经模型，该论文提出了一种基于信息瓶颈的梯度解释框架用于方面感情分析，通过识别与情感相关的特征，显著提高了模型的性能和可解释性。

Feb, 2024

变分信息瓶颈中的不确定性

通过简单的案例研究，我们展示了变分信息瓶颈（VIB）不仅可以提高神经网络的分类校准能力，还可以改善其检测未知数据的能力，并提供了两个量化和处理不确定性的自然度量。

Jul, 2018

深度变分多元信息瓶颈 —— 变分损失的框架

通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。

Oct, 2023

细胞变分信息瓶颈网络

本研究提出了一种使用信息瓶颈机制的卷积神经网络 —— 细胞变分信息瓶颈网络（cellVIB），它可以与最新的前馈网络结构相结合，在端到端训练方法中使用。我们的细胞变分信息瓶颈网络通过堆叠 VIB 细胞来构建，可以生成具有不确定性的特征映射。以 MNIST 数据集为例，对每个 VIB 细胞进行广泛分析以验证其有效性，并对 VIB 细胞如何影响互信息进行深入分析。在 CIFAR-10 上进行的实验也证明了我们的 cellVIB 对训练过程中的噪声标签和测试中的损坏图像具有鲁棒性。然后，我们在 PACS 数据集上验证了我们的方法，结果表明 VIB 细胞可以显著提高基本模型的泛化性能。最后，在更复杂的表示学习任务 —— 人脸识别中，我们的网络结构也取得了非常有竞争力的结果。

Mar, 2024

深度变分信息瓶颈

本文提出 “Deep Variational Information Bottleneck” 方法，通过可变分近似来将信息瓶颈模型参数化，使用神经网络和重新参数化技巧进行高效训练。结果显示，使用 VIB 优化训练的模型在泛化性能和对抗攻击鲁棒性方面优于其他正则化方法。

Dec, 2016

门控图卷积网络和基于语法规则的调控改进方面情感分析

本文提出了一种基于图的深度学习模型，该模型使用门向量从方面词的表征向量生成来定制基于图的模型的隐藏向量，并在模型中注入从依赖树中获取的每个单词的重要性得分，从而改善方面级情感分析的表征向量，实现了三个基准数据集上的最新成果。

Oct, 2020

关于方面情感分析的稳健性：对模型、数据和训练的重新思考

本研究针对情感分析在实际应用中的可靠性进行了探究，通过加强当前最佳的句法感知模型，并基于丰富的伪数据进行敌对训练，进一步提高了模型的鲁棒性。实验结果表明，所提出的方法比现有的基线模型的鲁棒性性能更好，同时合成语料库作为额外数据能够进一步提高测试准确性。

Apr, 2023

基于门卷积神经网络的方面情感分析

本文研究了利用卷积神经网络和门机制的模型，提高方面基情感分析的准确性和效率。该模型的提出主要在于采用了 Gated Tanh-ReLU Units 来根据给定的方面或实体选择性地输出情感特征。实验结果显示其在 SemEval 数据集上的性能优越。

May, 2018

学习使用非参数化变分信息瓶颈进行抽象

本论文介绍了一种能够学习在同一模型的不同层次进行不同抽象级别压缩的语言表示模型，并通过在编码器的堆叠 Transformer 自注意力层中应用非参数变分信息瓶颈 (NVIB) 来促进表示的信息理论压缩。论文发现模型内的不同层次对应于不断增加的抽象级别，并且它们的表示更具有语言学信息。最后，实验证明 NVIB 压缩能够产生更具鲁棒性的模型，面对对抗性扰动更加稳健。

Oct, 2023