- 改进序列到序列模型，使用元启发式方法进行抽象文本摘要
在信息时代，人们阅读冗长的新闻文章的时间越来越少，提供简洁的信息摘要变得比以往任何时候都更为重要。本文旨在改进现有的架构和模型，针对抽象文本摘要进行微调超参数，并尝试特定的编码器 - 解码器组合，以提高摘要生成的效果。
- VBART：土耳其 LLM
我们提出了 VBART，这是第一个基于大型语料库从头开始预训练的土耳其序列到序列大型语言模型。VBART 是基于 BART 和 mBART 模型的好主意的紧凑型语言模型，有两个不同尺寸的模型：大型和超大型。精调的 VBART 模型在抽象文本 - 多领域抽象摘要生成的显著性分配分析
通过使用 SEASON（Salience Allocation as Guidance for Abstractive SummarizatiON）技术，本文探讨了抽象文本摘要的领域，这是一种通过利用显著性分配技术来增强摘要的模型。通过将其 - 基于 Transformer 的关键词生成的跨领域鲁棒性
通过对领域之间的文本进行预训练和微调，我们探索了抽象文本摘要模型在关键词选择任务中的效果，并发现在样本数量有限的情况下，领域间的转移学习可以提高模型性能。
- 在抽象文本摘要中利用表征偏差进行数据去噪
本文旨在离散化抽象文本摘要模型的向量空间，以理解输入嵌入空间和模型编码空间之间的特征学习。我们通过聚类技术来学习模型样本空间的多样性，以及数据点如何从嵌入空间映射到编码空间，从而提出了一种度量方法来过滤冗余数据点，使模型更强大且更节约数据。 - 用于幻觉检测的度量集合
基于大型语言模型的文本生成具有吸引力，但生成的抽象摘要可能存在解释错误的 “幻觉”。本研究使用一套无监督指标来评估摘要的一致性，并与人工评估得分进行相关性分析。研究发现，基于大型语言模型的方法在幻觉检测方面优于其他无监督指标，而集合方法可以 - 在摘要模型中调整似然函数以求得一致性
通过校准概率与自然语言推理模型一致性得分之间的关系，我们提出了一种改进抽象文本摘要模型的方法，该方法确保所生成的摘要更加一致且质量更高。
- 领域特定抽象摘要的挑战及其克服方法
本文讨论大型语言模型在特定领域摘要文本生成中的局限性，特别指出了基于 Transformer 的模型复杂度与模型崩溃的问题，并探讨了解决现有研究中存在的问题的相关技术。
- 抽象式摘要作为文档级事件检测的扩充
使用抽象文本摘要作为增强方法，着重于在文档级事件检测上弥合浅层模型和深层模型之间的性能差距，使用 RoBERTa-base 和线性 SVM 对分类进行实验，结果表明，文档标题的使用不但能够增强分类性能，还能提高 RoBERTa 的 F1 分 - 为生成事实一致的文本摘要进行反事实去偏置
本研究提出了一种名为 CoFactSum 的去偏见框架，通过反事实估计，减轻了生成摘要时的语言偏见和不相关偏见的影响，并使用动态的偏差度调整机制。实验结果表明，与几种基线方法相比，CoFactSum 在提高生成的摘要的事实一致性方面具有显著 - ChatGPT 作为抽象文本摘要的事实不一致性评估器
通过对 ChatGPT 在零 - shot 设置下执行对粗粒度和细粒度事实不一致性评估任务，结果表明 ChatGPT 在三个任务的 6/9 数据集上优于先前 SOTA 评估指标，具有评估事实不一致性的潜力。
- EMNLP抽象文本摘要的主动学习
本文提出了第一个基于多样性原则的主动学习查询策略来缓解抽象文本摘要中昂贵的注释成本，并分析了自学习的效果。该策略可以帮助提高 ROUGE 和一致性分数。
- 抽象化摘要模型中的定量数值探讨
本文提出了一套探测测试用于评估抽象自动摘要模型中建模输入文本中定量价值的有效性，并发现 DistilBART-CDM 模型在多个实验中表现不佳，并且与 BERT 的性能比较表明，摘要任务的标准预训练和微调方法可能对一些编码器的表现产生影响。
- Z-Code++：用于抽象文摘优化的预训练语言模型
本文介绍了一种新的经过预训练的语言模型 Z-Code++, 通过使用三个技术，即两阶段预训练过程，将编码器中的自注意力层替换为解耦注意层以及在编码器中使用融合编码方法，创造了新的最先进的基于文本摘要任务的模型，它在五种语言的 13 个文本摘 - ACLViT5: 预训练的文本到文本 Transformer 模型用于越南语生成
本文介绍了 ViT5，这是一种使用预训练 Transformer-based encoder-decoder 模型为基础的越南语自然语言处理模型，可以在 Abstractive Text Summarization 和 Named Enti - 通过对比学习缓解摘要文本生成中的曝光偏差
提出使用对比学习来减少低质量文摘的可能性，同时增加黄金文摘的可能性，以解决 Encoder-decoder 模型在训练和推理中的偏差问题，并在实验中证明这种方法有效地提高了最先进模型在不同数据集上的性能。
- ACLXL-Sum：针对 44 种语言的大规模多语言抽象摘要
该研究介绍了一份名为 “XL-Sum” 的全面而多样化的数据集，其中包含来自 44 种语言的 100 万篇新闻文章及其摘要，旨在支持跨语言抽象文本摘要的未来研究工作，且在许多语言上可实现尤其高的 ROUGE-2 分数。
- ACL论摘要总结压缩中的注意力温度问题
该研究论文着重研究如何将深度学习模型中的大模型压缩成小模型，以便更快地生成和节省计算资源，并探究注意力温度在捕捉伪标签方面的作用。
- ACLConvoSumm: 对话摘要基准以及通过论证挖掘改进的抽象式摘要
本研究通过设计 Annotation Protocols 并使用 Argument Mining 技术，基于网络上不同形式的讨论为标准数据集，比较了各种先进的对话总结模型，在自动和人工评估中均取得了较高的结果。
- ACLSummVis: 文本摘要模型、数据、评估的交互可视化分析
通过 SummVis 工具的词汇和语义可视化，可以进行对神经网络抽象文本摘要模型的深入探索和细致分析，帮助改善评估方法和数据分析工具的局限性。