循环网络在情感分析中实现上下文处理的方式
本文研究了利用连续的语义表征通过递归神经网络生成特定情境下的自然语言的方法,提出了两种新方法,其中包含了注意力机制以解决因长序列引起的长程依赖问题,并在用户评论数据上进行了实验,展示了该方法生成的虚假评论非常自然,并且大部分能够躲过现有的虚假评论检测算法。
Nov, 2016
本文介绍了一种上下文集成循环神经网络 (Context Integrated RNN, CiRNN) 模型,用于处理含有传感器数据和上下文信息的数据,在引擎健康预测领域的实验中表现出比现有模型 39% 和 87% 的示范性改进,特别是在使用非对称分数函数作为测量指标时。
Jan, 2023
本文利用动态系统分析工具来反向工程文本情感分类的循环神经网络,证明训练过的循环神经网络可以收敛到高度可解释、低维表示的固定点,并揭示循环神经网络内部存在近似线吸引子的机制以量化的方式解释循环神经网络完成情感分析任务的过程。此外,该机制在多个数据集和不同架构下仍然存在,呈现出令人惊讶的通用性和可解释性。
Jun, 2019
本文研究了基于循环神经网络(RNN)的提及检测系统的鲁棒性及其在信息提取中的应用,表明在英语的普通或跨领域的情况下,RNNs 不仅在通用情况下优于之前报告的最佳系统(最多可达 9%的相对错误降低),而且在荷兰语中表现出的命名实体识别相似任务中,RNNs 比传统方法显著优越(最多可达 22%的相对错误降低)。
Feb, 2016
本文对于近三十年来产生和实践了重要的循环神经网络(RNN),LSTM 和 BRNN 等模型的研究进行综述,旨在提供一个自成体系的最前沿阐述和历史视角,并引用了相关研究文献。
May, 2015
我们提出了一种新的上下文递归神经网络,可以在输入和输出层中考虑相关信息,将上下文嵌入与项目嵌入相结合,并在模型动态性中将隐藏单元转换参数化为上下文信息的函数,从而在下一事件预测任务上显示出良好的提高效果。
Jun, 2017
本文提出了一种基于可视化分析的方法,通过理解和比较用于自然语言处理的循环神经网络模型,包括基于各个隐藏状态单元对输入文本的响应和相似性进行 聚类和可视化,以及通过基于聚合信息的图标序列可视化分析 RNN 的隐藏状态的行为,实验结果表明该方法在领域专家的案例研究和评论中具有可用性和有效性。
Oct, 2017
本文提出了一种将对话级别的语篇信息融入语言模型中的上下文语言模型,该模型在 Switchboard Dialog Act Corpus 上表现出比传统单轮 RNN 语言模型更好的性能。
Jan, 2017