EMNLPSep, 2019

有序神经元自注意力模型中层次结构建模的改进

PDF
TL;DR研究表明自注意网络和循环神经网络的混合模型表现优于单个模型，该论文提出用 Ordered Neurons LSTM 增强混合模型，以更好地建模层次结构，并在机器翻译任务，基于目标语言的评估和逻辑推理任务上的实验证明该方法的优越性。
发现论文，激发创造
  • 非线性动力系统学习的度量熵极限

    该研究论文主要讨论非线性动力系统学习的基本限制，以及循环神经网络在满足 Lipschitz 属性且以最佳度量 - 熵方式快速遗忘过去输入方面的应用，通过计算相关指标，证明了 RNN 可以实现指数衰减和多项式衰减 Lipschitz 的消退记忆系统。

    Jul, 2024

  • 无监督分割任何东西

    使用无监督 SAM 模型进行图像分割，通过将图像分割为实例 / 语义级别的片段并形成层次结构的无监督多粒度蒙版，提供了与有监督方法相媲美甚至更好的分割结果，并为有监督模型提供了改进的自我监督标签。

    Jun, 2024

  • 从语音的声学特征预测个体的抑郁症状

    使用语音的声学特征，通过卷积神经网络和循环神经网络，预测出抑郁评分表中各个项的结果，并进一步检测出抑郁情况。

    Jun, 2024

  • 基于神经贝叶斯估计的认知模型的潜变量序列识别

    从计算认知模型中提取变化的潜在变量是模型基础神经分析的关键步骤，我们提出了一种方法，通过递归神经网络和模拟数据集，将神经贝叶斯估计扩展到学习实验数据和目标潜在变量空间之间的直接映射，从而在可处理和难度较大的模型中推断潜在变量序列，该方法适用于不同的计算模型和连续离散潜在空间，并在实际数据集中证明了其适用性。

    Jun, 2024

  • 非负通用微分方程在系统生物学中的应用

    应用机理模型和人工神经网络，在动态模型中融合起来，不仅可以解决混合模型中出现的负值问题，还可以改善 UDE 的泛化和可解释性。

    Jun, 2024

  • 用于 CAN 中伪装攻击的无监督在线入侵检测系统的基准测试

    通过一个带有滑动窗口设置的基准研究，我们介绍了针对车载控制器区域网络中的伪装攻击的四种非深度学习无监督在线入侵检测系统，其中以检测时间序列的层次结构变化为基础的方法表现最佳，但计算开销较高。我们讨论了其局限性、开放性挑战，并说明了如何将这些基准方法应用于实际的无监督在线 CAN（控制器区域网络）入侵检测系统中。

    Jun, 2024

  • 通过最优收缩在预测问题中校准神经网络参数

    通过将递归神经网络转化为一个已知参数为线性的收缩系统，本文展示了透过具有特定正则化项的递归神经网络模型建模的预测问题可以通过解析法找到其一阶条件的方程组，并将其简化为包含 Sylvester 方程的两个矩阵方程，从而证明在满足一定条件的情况下，可以通过直接算法以任意精确度找到存在且唯一的最优参数。此外，随着神经元数量的增长，收敛条件变得更容易满足。还研究了参数线性约束下的前馈神经网络，引入循环（带有固定或变量权重）将导致更容易训练的损失函数，因为它保证了一个迭代方法收敛的区域的存在。

    Jun, 2024

  • SRFUND：形态理解中的多粒度分层结构重建基准

    我们提出了 SRFUND，这是一个层次结构化的多任务表单理解基准数据集，它在原始的 FUNSD 和 XFUND 数据集基础上提供了细化的注释，涵盖了五个任务：（1）将单词合并为文本行，（2）将文本行合并为实体，（3）实体分类，（4）项目表定位，以及（5）基于实体的完整文档层次结构恢复。

    Jun, 2024

  • 多路径多切片 PHATE: 通过训练可视化 RNN 的隐藏动态

    多维多切片 PHATE（MM-PHATE）是一种新颖的方法，用于可视化循环神经网络（RNN）的隐藏状态的演化过程，能独特保持隐藏表示的社区结构，并识别训练期间的信息处理和压缩阶段。

    Jun, 2024

  • 循环神经网络：梯度消失和梯度爆炸并非问题的终点

    递归神经网络在学习长期记忆方面存在困难，而最近基于状态空间模型的 RNN 取得的成功挑战了我们的理论理解。我们的分析揭示了元素逐个递归设计模式和谨慎参数设置在缓解这种效应方面的重要性，这一特征存在于状态空间模型及其他架构中。总体而言，我们的观点为解释 RNN 梯度学习中的一些困难以及为什么有些架构表现更好提供了新的解释。

    May, 2024