long-distance dependencies | BriefGPT

关键词long-distance dependencies

搜索结果 - 13

QuickLLaMA: 大型语言模型的查询感知推理加速
通过引入针对大型语言模型（LLMs）的查询感知推理（Q-LLM）系统，我们解决了在序列中捕捉长距离依赖以实现深层语义理解的问题，并且在 LLaMA3 和 Mistral 基准上得到了显著的性能提升。
PDF23 days ago
STMGF：一种有效的时空多粒度交通预测框架
介绍了一种新颖的框架，即空间 - 时间多粒度框架 (STMGF)，用于提高对交通网络中长距离和长期信息的捕捉，该框架通过以分层交互方式收集信息，利用交通序列中的固有周期性与最近交通数据进行匹配以改善预测结果，并在两个真实数据集上的实验表明
PDF3 months ago
InfLLM: 揭示 LLM 对于无需训练的记忆理解极长序列的内在能力
通过引入一种无需训练的基于内存的方法 InfLLM，使得大型语言模型 (LLM) 能够高效处理长序列并捕获远距离依赖关系。
PDF5 months ago
FLDNet：利用长距离依赖关系进行息肉分割的前景感知网络
通过使用 FLDNet，一种基于 Transformer 的神经网络，该论文提出了在结直肠镜检查图像中准确检测和分割息肉的方法，并通过评估显示出在常用数据集上优于现有方法的先进性。
PDF10 months ago
英语 RST 解析中的难点是什么？通过预测模型进行错误分析
通过研究探讨了自然语言处理中层次结构篇章分析在修辞结构理论框架中的困难，并建立了与之相关的因素模型，其中隐含的篇章关系、识别远程关系的挑战、词汇外的项目等是现有工作中的解析难点。通过发布两个带有明确正确和干扰篇章标记的英文测试集，以评估这些
PDF10 months ago
神经图表摘要中的幻觉处理
通过自然语言推理对训练数据进行预处理，缩短输入序列的远程依赖关系并添加与图表相关的信息，可以显著降低神经图表摘要中的幻觉。
PDFa year ago
MLRegTest：机器学习正则语言的基准测试
本文提出了一种名为 MLRegTest 的新的机器学习系统性能基准测试，用于评估序列分类等不同模型在不同的正则语言种类及复杂程度情境下对长距离依赖关系的学习能力，结果表明神经网络的性能取决于测试集的种类、语言类别和神经网络的架构。
PDFa year ago
Galician BERT 模型在句法能力与训练时间交互界面的计算心理语言学评估
本文探讨 Transformer 模型在捕捉加利西亚语中的主谓和名词形容词一致性依赖方面的能力，并通过一系列词语预测实验来评估加利西亚语的现有单语和多语模型的性能，并对不同训练点上两个单语 BERT 模型的不同成就程度进行比较，得出了所需的
PDF2 years ago
EMNLP基于分块的自注意力机制实现长文本理解
BlockBERT 为一个高效的 BERT 模型，引入了稀疏块结构，以更好的建模长距离依赖关系，在语言模型预训练和基准问答数据集上进行了实验。与 RoBERTa 模型相比，BlockBERT 可以节省大约 27.8% 的推理时间，并具有可比
PDF5 years ago
EMNLP基于加减双门循环网络简化神经机器翻译
本文提出了一种称为 ATR 的附加减法双门控循环网络，其采用了双门机制来构建高度相关的输入门和遗忘门。通过使用简单的加法和减法操作对循环单元进行了大幅简化，但保留了关键的非线性和长距离依赖建模能力。实验结果表明，ATR 在 WMT14 翻译
PDF6 years ago
非局部增强的编码器 - 解码器网络用于单张图像去雨
本文主要介绍了一种有效的端到端神经网络结构的实现方法，并提出了一种非局部增强的编码 - 解码网络框架，以更高效学习不断抽象的特征表示，同时极大地保留图像细节。新网络框架组成了一系列非局部增强的密集块，旨在充分利用所有卷积层的分层特征，以及捕
PDF6 years ago
ICML扩张卷积用于建模长距离基因组依赖关系
本文利用扩张卷积神经网络模型长距离相互作用，有效地检测人类基因组中的调控元素
PDF7 years ago
ACL基于依存关系的卷积神经网络用于句子嵌入
该研究提出了一种基于树的卷积神经网络模型，结合深度学习和语言结构，利用单词之间的各种长距离关系来提高情感分类和问题分类任务的准确性，并在 TREC 数据集上取得了最高的准确性。
PDF9 years ago