HiPool：基于图神经网络对长文档建模
基于强化学习和词向量，提出了一种可以高效处理长篇文档的问答框架，该框架结合了快速筛选相关句子和精读相关句子的策略，并在Wikireading的一个挑战性子集和一组新的数据集上实现了最新的性能，同时使模型的速度提高3.5倍至6.7倍。
Nov, 2016
该论文介绍了一种神经网络模型，使用新颖LSTM结构直接编码图级别的语义信息，用于AMR-to-text生成任务，并在标准数据集上实现了优于现有方法的结果。
May, 2018
通过将序列编码器与图形成分扩展，我们开发了一个框架，旨在处理文本等弱结构化数据中的长距离关系，从而实现对序列的概括。在广泛的评估中，我们展示了这种混合模型的优越性。
Nov, 2018
本研究说明了一种基于层次BERT模型（HBM）的长文本分类方法，其可以在有限的标记实例数量下实现比现有技术更高的性能，并且可以被用来作为长文本解释的有用工具。
Jun, 2021
本文研究使用分层传递学习方法进行长文本分类，通过将数据分成块，然后传递到使用双向编码器表示的预训练通用句子编码器和BERT的基本模型，然后使每个块的输出表示通过包括LSTMs或CNNs的浅层神经网络来分类文本数据。使用此扩展方法对6个基准数据集进行评估，同时与多个深度学习算法进行比较，其中Longformer方法在大多数数据集上始终表现良好。
Jan, 2022
本研究探讨使用图神经网络 (GNN) 表示来增强预训练语言模型 (PLMs) 的上下文表示，用于从长文档中提取关键词。我们构建了文本的共现图，并使用在边预测任务上训练的图卷积网络 (GCN) 进行嵌入。我们提出了一种增强序列标记体系结构来增强 PLM 嵌入与图嵌入。在基准数据集上评估，我们证明了使用图嵌入增强 PLM 在长文档上的性能优于现有最先进模型，并在所有数据集上显示了 F1 分数的显著改进。我们的研究突显了 GNN 表示的潜力，作为改善从长文档中提取关键词时 PLM 性能的补充方法。
May, 2023
本文介绍了长期记忆网络(LTM) 以解决自然语言理解模型在处理长的序列文本时出现的问题。通过在语言建模任务上进行测试，我们发现LTM能够学习到无限长的序列信息，并与其他需要长时间记忆的语言模型进行比较。
May, 2023
本文综述了深度神经网络在自然语言处理中的应用，重点关注长文本处理的挑战和解决方案，包括文档分类、摘要生成和情感分析等任务，同时列举了当前用于研究的公开数据集。
May, 2023
LongNet 是 Transformer 的一种变体，引入了扩张注意力（dilated attention）来扩展序列长度，使其能够处理超过 10 亿个标记的序列，同时不会牺牲短序列的性能表现。
Jul, 2023
通过利用预训练的句子transformers对语义有意义的嵌入进行组合，结合文档长度线性扩展的小的注意力层，我们得到了与当前最先进模型竞争力的结果，特别是在冻结底层transformers的情况下，有助于避免完全微调。通过两个额外的实验进一步评估所研究的架构在比较简单的基线上的相关性。
Jul, 2023