Jun, 2023

循环神经网络隐藏状态向量和语义实体关系的研究

PDF
TL;DR研究表明，循环神经网络的隐藏状态向量往往会形成语义相似向量的聚类，即聚类假设；本文利用现代神经网络架构中训练出的循环神经网络，在识别正则语言的过程中，研究了聚类假设。实验结果支持聚类假设的有效性。
recurrent neural networksclustering hypothesisregular languagesunsupervised clusteringground-truth model
发现论文，激发创造
  • 理解循环神经网络中的隐藏记忆

    本文提出了一种基于可视化分析的方法，通过理解和比较用于自然语言处理的循环神经网络模型，包括基于各个隐藏状态单元对输入文本的响应和相似性进行 聚类和可视化，以及通过基于聚合信息的图标序列可视化分析 RNN 的隐藏状态的行为，实验结果表明该方法在领域专家的案例研究和评论中具有可用性和有效性。

    Oct, 2017

  • 作为心理语言学对象的 RNNs：句法状态和语法依存关系

    本研究探讨递归神经网络在自然语言处理中的应用情况，研究发现虽然这种网络可以实现递增的句法状态，但是并不总是像人类那样进行泛化，并且没有学习到合适的语法依赖配置。

    Sep, 2018

  • 利用隐马尔科夫模型提高循环神经网络的可解释性

    通过将循环神经网络与隐马尔科夫模型相结合，旨在增加其可解释性，发现 LSTM 和 HMM 可以学习互补的文本特征信息。

    Jun, 2016

  • 通过循环引发的隐式 N 元语法

    本研究发现，循环神经网络（RNNs）内置一些可以解释的组件，这些组件类似于经典的 n-gram 特征。从训练的 RNNs 中提取这些可解释的特征，用于下游情感分析任务，发现它们可以用于建模否定和强调等有趣的语言现象，并且可以充当 RNNs 总体性能的重要组成部分。此研究有望提高 RNNs 的可解释性，并为提出新的序列数据架构提供启发。

    May, 2022

  • 透过连续粒子滤波在循环神经网络中进行隐状态近似

    本文介绍一种基于历史数据，使用逐步加粗的粒子来近似表示潜在状态分布的序列预测模型，利用连续可微分的方案，根据贝叶斯规则，自适应提取有价值的信息和更新潜在状态，并在预测任务中取得了良好的效果。

    Dec, 2022

  • 关于 RNN 语言模型归纳偏差的理论结果

    循环神经网络（RNNs）作为语言模型（LMs）的经验成功可能与其能够有效地表示人类语言中的有界分层结构有关，并且可以推广其构造以表示更大类别的 LMs，即可以用带有边界堆栈和广义堆栈更新函数的推挤自动机来表示。然而，RNNs 在表示多样化的非分层 LM 类别时的效率表明其缺乏具体的认知和以人类语言为中心的归纳偏见。

    Feb, 2024

  • 重新思考图像描述中的潜在状态形式

    研究了使用二维地图来编码潜在状态的图像字幕模型，发现使用 2D 状态通常在字幕生成方面更加有效，且能够保留空间局部性，并通过这种方式揭示了字幕生成过程中的内部动态和输入视觉领域与输出语言领域之间的联系。

    Jul, 2018

  • 利用辅助预测任务进行句子嵌入的细粒度分析

    通过对句子结构的预测任务来评估句子嵌入向量的表现，探讨了句子嵌入方法的相对优劣和向量维度对嵌入效果的影响。

    Aug, 2016

  • 线性 RNN 的隐性偏差

    研究说明传统的循环神经网络（RNNs）在需要长期记忆的任务上表现不佳的原因是因为其随机初始化后的转移矩阵方差造成了梯度消失和梯度爆炸的问题，而使用线性 RNNs 代替时会出现更短的记忆偏差，这一理论经过人工数据和真实数据的验证。

    Jan, 2021

  • 无色的绿色循环网络进行分层梦境

    本文研究了递归神经网络中选择性跟踪语言抽象层级结构的能力，并测试了递归神经网络在四种语言（意大利语、英语、希伯来语、俄语）中使用语言模型目标进行训练是否能够预测各种结构中的长距离数字一致性，结果表明递归神经网络能够可靠地预测长距离一致性而不依赖于词汇或语义信号，支持递归神经网络不仅是浅层模式学习器，而且还能获得较深语法能力的假设。

    Mar, 2018