ACLJul, 2019

多元素长距离依存关系：使用 SPk 语言探索长距离依存关系的特征

PDF
TL;DR本篇论文通过使用 “Strictly k-Piecewise languages” 生成不同属性的数据集，并计算使用互信息方法得到的长距离依赖的特征，分析了多种因素（如 k，长距离依赖的长度，词汇量，禁止的子序列和数据集大小），发现交互元素的数量是长距离依赖的重要特征，导致了在建模多元素长距离依赖时遇到的挑战，并建议使用神经网络中的注意力机制来进行建模，同时需要发展更高效的注意力机制以解决这个问题。
long distance dependenciesstrictly k-piecewise languagesmutual informationmulti-element long-distance dependenciesattention mechanisms
发现论文，激发创造
  • 量化语言和用户行为中的长程依赖以改进循环神经网络

    该研究采用基于 LRD 理论的可靠估计程序，针对含有百万条数据的符号序列数据集测量了 LRD，并表明 LRD 更好地指导 RNN 的建模，这为新的设计提供了灵感，从而实现了在语言理解和顺序推荐领域的最新成果，计算成本只是很小的一部分。

    May, 2019

  • 语言和音乐长记忆的统计研究

    本研究旨在解决长序列数据中具有长程依赖的表征和学习问题，采用长记忆随机过程的理论框架对深度学习体系结构中学习到的长程依赖进行调查和测试。

    Apr, 2019

  • 关于依赖距离、交叉依赖和句法分析的关系。对刘海涛等人提出的 “依赖距离：自然语言句法模式的新视角” 的评述

    Liu et al. (2017) provides a comprehensive report on research of dependency distance in human languages, while also identifying areas where computational linguistics can inform research on this subject, potentially leading to improved understanding of language evolution and effective computer systems.

    May, 2017

  • 基于长程依赖的异构信息网络多层感知器

    该文提出了一种基于长距离依赖的多层感知机模型，通过使用自动化的搜索方法发现有效的元路径，从而解决了现有异构图神经网络模型在处理稀疏异构信息网络时计算和存储开销过高的问题，并且在相应的异构数据集上取得了当时最好的性能和高效性。

    Jul, 2023

  • 句法依存距离的分布

    本文提出了一种新的双指数模型，探讨了句子的句法结构和依赖距离分布及其与短期记忆限制之间的关系，并通过最近引入的优化分数，解释了最佳估计模型与句法依赖的紧密程度之间的关系。

    Nov, 2022

  • 长上下文真不算长：大语言模型的长依赖数据勘探者

    提出了一个名为 ProLong 的数据挖掘框架，该框架可以在大型语言模型（LLMs）的训练中分配每个样本一个长依赖得分，用于排名和过滤对增强长上下文建模能力更为有利的样本，实验结果表明，ProLong 能够有效识别具有长依赖关系的文档，并且在这些文档上训练的 LLMs 显著提高了长上下文建模能力。

    May, 2024

  • 神经语言模型的一致性蒸馏架构

    本研究探讨了一种 Knowledge Distillation 的新方法，即从神经网络和词汇知识库中提取语言信息，以提供大规模模型的高效替代方案，并提出了两种基于多个 teacher networks 预测权重的技术以及一种用于词义消歧的方法，并发现使用本文中的词汇预训练方法可在不增加参数的情况下提高自然语言理解任务 (NLU) 的性能，同时在 Plagiarism Detection 方面也有了更好的表现。

    Jan, 2023

  • 一种用于软件代码的深度语言模型

    提出了一种基于深度学习和 LSTM（长短时记忆）架构的软件代码语言模型，能够有效地学习软件代码中的长时相关性，实验结果显示其有效性。这项工作为构建 DeepSoft，一种端到端，通用的深度学习框架，促进了软件及其开发过程的建模。

    Aug, 2016

  • 基于最短依赖路径和长短时记忆网络的关系分类

    本文提出了一种 SDP-LSTM 神经网络方法，并使用其进行语句中两个实体之间的关系分类，其相较于现有方法在 SemEval 2010 关系分类任务上获得了 83.7％的高 F1 值。

    Aug, 2015

  • 子正则复杂度与深度学习

    本文通过对两种循环神经网络的实验研究，证明了正则正负推理算法是深度神经网络能否表示和学习时间序列中的长期依赖的可靠工具。此外，本文发现在同种实验中简单循环神经网络在最难的实验中表现出色，长短时记忆网络的表现总体上比简单循环神经网络差。

    May, 2017