Jun, 2020

稀疏和连续的注意机制

PDF
TL;DR本文将 alpha-entmax 方法扩展到连续域，同时提出了基于连续域注意机制的梯度反向传播算法，并通过在文本分类、机器翻译和视觉问答方面的实验表明了连续注意力机制的应用。
exponential familiessparse alternativesalpha-entmaxcontinuous-domain attention mechanismsgradient backpropagation algorithms
发现论文，激发创造
  • 混合分布的稀疏通信

    本文介绍一种新的 “直和” 基础度量方法用于概率简单形式下的混合随机变量，并对混合离散变量模型的表示与采样提出两种策略，通过基于混合随机变量的自动编码器的实现和表现，验证该方法的有效性。

    Aug, 2021

  • 稀疏序列到序列模型

    提出了基于 alpha-entmax 变换的稀疏序列到序列模型，能产生稀疏的对齐和分配概率到一组合理的输出，这在形态学变化和机器翻译的实验中展现了比密集模型更好的表现。

    May, 2019

  • 连续分类：一种新颖的简单值指数族

    介绍了一个新的连续分类型分布 - continuous categorical，用于建模单纯值数据。与 Dirichlet 和其他典型选择不同，continuous categorical 产生一个行为良好的概率损失函数，产生无偏估计器，同时保留了 Dirichlet 的数学简单性，并在多方选举和神经网络压缩任务中超越其他标准选择。

    Feb, 2020

  • 自适应稀疏变压器

    介绍了自适应稀疏转换器，使用 α-entmax 代替 softmax，可以适应性地学习头部偏爱的结构，并改善了 softmax 转换器在机器翻译数据集上的可解释性和头部多样性。

    Aug, 2019

  • 流形上的谐波指数族

    论文定义了一类极其灵活的流形上指数家族分布，使用非交换 Fast Fourier 变换（FFT）的一般化方法提高了对数似然度函数的梯度计算效率。应用于贝叶斯相机运动估计和地震空间分布建模，并且实验结果表明，与最佳竞争方法相比，调和密度的似然性显着更高，同时训练速度快几个数量级。

    May, 2015

  • 一种用于稀疏和结构化神经注意力的正则化框架

    提出了一种基于平滑的最大值算子的新的稀疏和结构化的注意力机制，它不仅包括 softmax 和稀疏 max 作为特例，还可以融合现代结构惩罚，可以应用于神经网络中，在文本蕴含、机器翻译和句子摘要等任务中表现良好，提高了可解释性并保持性能优越。

    May, 2017

  • Transformer 模型的概率解释

    提出 transformers 的注意力子层是 Hopfield 注意力理论中的 log-sum-exp 项的梯度上升步骤，这导致了点的并行扩展，而又被层标准化所抵消的基于指数族的对比学习的概率解释

    Apr, 2022

  • 可控稀疏 Softmax 替代方案

    研究基于概率分布的机器学习任务中，提出了几种概率映射函数，为了控制稀疏度，开发出了一个统一框架并提出了两种新的 sparse formulations，并在多标签分类场景中开发了新的凸损失函数，用于计算注意力权重，从而在类似神经机器翻译和抽象摘要等标准 seq2seq 任务上获得更好的性能。

    Oct, 2018

  • 指数族图嵌入

    本文提出了一种基于随机游走的网络表征学习技术，使用指数族分布来捕捉节点之间的丰富交互模式，并研究了该模型的三个具体实例，实验结果表明该技术在两个下游机器学习任务中胜过基线方法。

    Nov, 2019

  • 统计指数族：摘要和学习工具

    该文介绍了常见于统计学中的指数族分布，着重回顾并总结了分布的性质、双重性，以及常见分布的分解和相关公式。同时介绍了 Fisher-Rao-Riemannian 几何和统计流形的双重仿射连接信息几何，以便于后续添加新的分布选项。

    Nov, 2009