- CheckEmbed：对开放式任务的 LLM 解决方案进行有效验证
提出了一个简单而有力的证实方法，通过比较基于大型语言模型的答案级嵌入来验证模型的答案，以实现诸如汇总、摘要和知识提取等复杂开放式任务的准确性和可扩展性，并展示了在术语提取和文档摘要等实际任务中，与现有方案相比，精度、性价比和运行性能都有显著 - 评估语义变化的句子嵌入模型的比较研究
分析语义变化的模式在长篇实际文本（如书籍或记录）中是有趣的，从文体、认知和语言的角度来看。这项研究也对应用领域，如文本分段、文档摘要和语义新颖性检测是有用的。本文通过时间序列的语义相似性以及多本文学作品的两两句子相似性矩阵比较了几种最近的句 - 一项用于从非结构化数据中学习结构的个性化强化学习摘要服务
该论文提出了一种基于个性化概念的分层式摘要方法 Summation，使用强化学习算法生成特定主题的未见文档的个性化摘要，以增强理解、有效导航和满足用户独特需求从大量文献中提取有意义的见解。
- 通过位置插值扩展大型语言模型的上下文窗口
本文介绍了一种名为 Position Interpolation 的方法，它扩展了 RoPE-based pretrained LLMs 的上下文窗口大小，可以达到 32768，而且只需要最小限度的微调，同时在需要长上下文的各种任务中（包括 - 基于子图选择方法的越南多文档摘要 -- VLSP 2022 AbMuSu Shared Task
本文聚焦于将抽取式多篇文档自动摘要问题转化为子图选择问题，并利用整体图结构和选定子图捕捉同一文档内和同一群集内句子之间的关系，在 VLSP 2022 数据集上的实验结果表明，该模型目前在公共测试集上的 ROUGE-2 F1 值排名前 10。
- 将知识融入文档摘要生成：基于 Prefix-Tuning 和 GPT-2 的应用
本文提出了基于前缀微调（prefix tuning）的方法，使用一组可训练的连续前缀提示和离散提示来辅助模型生成，显著提高了使用 GPT-2 生成的 CNN/Daily Mail 和 XSum 摘要的事实保留。此方法在知识增强的文档摘要中表 - 基于 Transformer 的自动文摘实现
文章旨在利用基于 Transformer 的技术提高文章章节摘要的生成效率和质量。
- 利用语言模型的监督信号进行弱监督文本分类
本文提出了一种利用填空式提示来生成标签信号以进行弱监督文本分类的方法，并使用潜变量模型来学习将生成的单词与预定义类别相关联的单词分布学习器和文档分类器，以实现无需标注数据。通过在三个数据集上的评估，表明我们的方法可以比基线方法提高 2％，4 - 知识感知文档摘要：知识、嵌入方法和架构综述
本文是第一个系统调查将知识嵌入到文档摘要生成器中的最新方法的论文，现在知识已成为自然语言处理应用程序中的焦点，先前的工作表明，嵌入式知识文档摘要生成器在生成信息、连贯性和事实一致性方面表现卓越，我们进一步研究嵌入深度学习模型的嵌入学习体系结 - ACL局部关注和内容选择实现的长篇摘要
本研究提出使用 local self-attention 和 explicit content selection 两种方法来应对长篇文档摘要中的长跨度依赖，并利用大型预训练变压器模型在 Spotify Podcast、arXiv 和 Pu - ACL抽象化摘要中的推理时间内容选择的注意力头掩蔽
本研究提出了一种简单而有效的关注头屏蔽技术，应用于编码器 - 解码器注意力以确定推断时显着的内容，对三个摘要数据集进行了演示，证明了其在数据效率和性能上的优越性。
- 生成长文档的扩展摘要
本研究基于多任务学习方法，利用文件的层次结构生成长篇文献的扩展摘要，并在三个大型数据集上验证其优于其他强基准模型的性能，为长篇文献摘要生成任务的未来研究提供了深入的洞见。
- EMNLP通过对比学习无监督无参考摘要质量评估
本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。
- COLING我们应该在哪个层面上提取？关于可提取性文档摘要的实证分析
本研究发现在提取文档内容时，提取全句存在不必要和冗余的问题。我们提出了一种基于成分句法分析树的子句单元提取方法，并采用神经萃取模型进行实验分析，发现提取子句单元在人工和自动化评估中表现优异，为未来研究提供了启示。
- 摘要文档生成的注意力优化
该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法，结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督，并在 CNN/Daily Mail 数据集上验证了其有效性。
- EMNLP更好的奖励带来更好的摘要：无参考学习摘要
从 2500 个摘要的人为评分中学习奖励函数，得出的 RL 系统奖励函数在人类评价方面具有显著更高的相关性，使用我们得出的奖励函数进行训练的 RL 系统生成了比现有方法更符合人类喜好的摘要。
- 通过协作语义推断与深度学习模型的视觉交互
本文提出一种基于协同语义推理（CSI）的框架，通过人机视觉交互设计，实现人与算法的可视化协同，揭示深度学习模型的推理过程，从而使用户能够理解和控制模型的部分推理过程，其应用于文档摘要系统的案例研究表明了其可行性。
- 基于话语关系重构的零样本抽象式对话摘要
提出一种使用话语关系进行无监督抽象化对话摘要生成的方法，并验证其在 AMI 和 ICSI 会议语料库上的有效性，ROGUE score 提升了 3 个点以上，甚至与现有的最先进方法竞争。
- EMNLP面向主题的卷积神经网络进行极端摘要
本文提出了一种新型单一文档摘要任务 —— 极端提要，旨在采用抽象建模方法，而非传统的提取策略，实现一句话新闻概述，主要探讨了基于卷积神经网络的创新型抽象模型在文档摘要和相关处理方面的性能和应用
- ICLR单调块级注意力
本文介绍了一种名为 MoChA 的注意力机制，该机制可以将输入序列自适应地分成小块，以实现在线和线性时间解码，并在在线语音识别和文档摘要等任务中取得了良好的结果。