利用语篇互信息最大化的对话数据表示学习

ACLDec, 2021

利用语篇互信息最大化的对话数据表示学习

Representation Learning for Conversational Data using Discourse Mutual Information Maximization

Bishal Santra, Sumegh Roychowdhury, Aishik Mandal, Vasu Gurram, Atharva Naik...

TL;DR为了实现有效的会话建模，本文提出了基于结构的相互信息损失函数 DMI 来训练对话表示模型，并在九个不同对话建模任务上展开了广泛评估，结果表明我们提出的 DMI-based 模型表现超过了强基线。

Abstract

Although many pretrained models exist for text or images, there have been relatively fewer attempts to train representations specifically for dialog understanding. Prior works usually relied on finetuned representations based on generic text representation models like BERT or GPT-2. But such language modeling pretraining objectives do not take the structural

dialog understanding language modeling pretraining generative dialog models dmi uncertainty

发现论文，激发创造

利用互信息学习说话者表示

利用互信息作为无监督学习中一种重要的度量方式，设计一种基于编码器 — 判别器结构的音频信号 SincNet 编码器，通过最大化采样自同一句子块的编码表示之间的互信息来学习音频信号中说话者的特征表达，可成功地实现有效的说话者识别和验证任务。

Dec, 2018

自监督对比学习的约束多视图表示

基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。

Feb, 2024

语言表示学习的互信息最大化视角

本文介绍了词表示学习的最新方法，通过互信息最大化来统一传统的词嵌入模型和现代上下文嵌入模型。此外，我们提出了一种构建新的自监督任务的框架，并提供了一种简单的自监督目标函数来最大化句子全局表示和 n-gram 之间的互信息。这种方法可以在自然语言处理、计算机视觉和音频处理等多个领域传递知识和推进进展。

Oct, 2019

通过最大化本地互信息来进行多模态表征学习

该研究提出并演示了一种利用图像和文本间局部特征的互信息最大化的表示学习方法，以此训练图像和文本编码器，使其表现出高局部互信息，实验结果显示该方法在图像分类任务中具有优势。

Mar, 2021

通过互信息估计和最大化学习深层表示

通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。

Aug, 2018

通过对抗最大化互信息来学习离散结构表示

本研究提出使用互信息优化结构化潜变量和目标变量之间的关联，通过对抗目标函数可在二进制编码上估算互信息，应用于文件哈希上表现卓越且高度压缩。

Apr, 2020

通过图形互信息最大化进行图形表示学习

本文提出了一个新颖的概念，图互信息（Graphical Mutual Information，GMI），用于无监督地将图结构数据中的丰富信息提取到嵌入空间中进行表示学习，同时运用 GMI 开发了无监督学习模型并在节点分类和链接预测等任务上表现出明显的优越性。

Feb, 2020

面向任务的对话系统的对话意图表示

提出了一种任务导向的对话意义表示 —— 对话意义表示（DMR），它使用一组节点和边来表示复杂的组合语义，并具有继承层次结构机制，提高了域可扩展性；利用 DMR-FastFood 数据集进行实验，提出了两个评估任务来评估差异化对话模型以及基于图形的指代消解任务的 GNNCoref 模型，并显示出 DMR 可以很好地用预训练的 Seq2Seq 模型解析，并且 GNNCoref 可大幅优先于基线模型。

Apr, 2022

关于表示学习的互信息最大化

本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。

Jul, 2019

基于互信息最大化的实时无人机跟踪学习解耦表示

利用互信息最大化的分解表示学习（DR-MIM）来进一步提高无人机跟踪的深度学习（DL-based）跟踪器的精确度和效率。通过将特征分解为与身份相关和与身份无关的特征，仅使用后者，从而增强下一步的分类和回归任务的特征表示效果。广泛的实验表明，我们的 DR-MIM 跟踪器在四个无人机数据集上明显优于现有无人机跟踪方法。

Aug, 2023