Oct, 2023

VIBE：面向主题的 Twitter 分类的时间适应

PDF
TL;DR通过建模潜在主题演化，我们提出了 VIBE：Evolution 的变分信息瓶颈，以解决动态文本分类性能下降的挑战。实验表明，在只有 3% 的数据情况下，我们的模型明显优于之前的先进方法。
发现论文，激发创造
  • 有效低资源微调的变分信息瓶颈

    本文提出使用变分信息瓶颈 (VIB) 来压制过拟合和提高低资源情景中的传输学习，并证明我们的方法成功地降低了过拟合，提高了泛化能力。我们的 VIB 模型发现的句子表示更加鲁棒且能够在自然语言推断数据集中更好地泛化到领域外数据集，实验结果表明我们的方法显著提高了传输学习，并在 13 个领域外自然语言推断基准测试中提高了泛化能力。

    Jun, 2021

  • 动态语言模型用于不断演变的内容

    本文研究如何将预训练语言模型适应于不断变化的 Web 内容，通过分析 Twitter 数据的演化，探索了词汇组成和抽样方法对语言模型的增量训练的影响，证明了该方法比离线重新训练新模型更具优越性

    Jun, 2021

  • 时间会改变一切：社交媒体分类中动态语言理解的实证研究

    研究了社交媒体的 NLU，通过动态设置来讨论模型的适应性和使用无标记数据来提高模型的鲁棒性，使用基于自动编码和伪标记的无监督领域自适应和联合框架的实验证明了动态环境对分类精度的普遍负面影响，同时表现出最佳的鲁棒性。

    Oct, 2022

  • 基于预训练语言模型的社交媒体时间感知话题识别：以电动汽车为例的案例研究

    本研究提出了一种基于预训练语言模型的时序话题识别方法，采用 reddit 电动汽车数据进行实证分析，证明了从海量社交媒体中以时序方式捕获新出现话题的可行性。

    Oct, 2022

  • 深度变分信息瓶颈

    本文提出 “Deep Variational Information Bottleneck” 方法，通过可变分近似来将信息瓶颈模型参数化，使用神经网络和重新参数化技巧进行高效训练。结果显示，使用 VIB 优化训练的模型在泛化性能和对抗攻击鲁棒性方面优于其他正则化方法。

    Dec, 2016

  • 社交媒體話題分類的非參數時間適應

    本文针对用户生成的社交媒体数据不断变化，现有自然语言处理系统无法适应且需要大量重新训练的问题，提出了一种基于非参数分类器的简单有效的时间适应方法，并通过预测长期 Hashtag 变化的任务进行了实验。结果表明，非参数分类器的分类效果相比最佳参数基线提高了 64.12％，而且被动删除用户数据时也表现出极高的性能。

    Sep, 2022

  • 边缘推理中学习面向任务的通信：一种信息瓶颈方法

    本文提出了一种基于学习的通信方案，综合优化特征提取，源编码和信道编码，采用变分信息瓶颈框架构建可行的上界，使用稀疏诱导分布作为变分先验，提高边缘设备和强大边缘服务器的传输性能和速度。

    Feb, 2021

  • 变分信息瓶颈中的不确定性

    通过简单的案例研究，我们展示了变分信息瓶颈（VIB）不仅可以提高神经网络的分类校准能力，还可以改善其检测未知数据的能力，并提供了两个量化和处理不确定性的自然度量。

    Jul, 2018

  • 通过信息瓶颈专门化单词嵌入（用于解析）

    提出了一种 VIB 方法，将预训练的词嵌入非线性压缩，只保留帮助判别式解析器的信息，在离散或连续向量上进行压缩，可以实现更准确的解析。

    Oct, 2019

  • 学习使用非参数化变分信息瓶颈进行抽象

    本论文介绍了一种能够学习在同一模型的不同层次进行不同抽象级别压缩的语言表示模型，并通过在编码器的堆叠 Transformer 自注意力层中应用非参数变分信息瓶颈 (NVIB) 来促进表示的信息理论压缩。论文发现模型内的不同层次对应于不断增加的抽象级别，并且它们的表示更具有语言学信息。最后，实验证明 NVIB 压缩能够产生更具鲁棒性的模型，面对对抗性扰动更加稳健。

    Oct, 2023