使用 BERT 进行口头和书面指令的抽象摘要
研究了多源建模摘要提取方法在开放领域视频领域的应用。通过构建一个多源的序列 - 序列模型,集成来自视频和音频文字转写的信息,完成了一个流利的文本摘要,并使用 Content F1 评价指标来度量其语义适当性。
Jun, 2019
本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷,使得模型可以更好的理解要点,同时引入课程学习的方法提高了训练速度和质量,并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性,同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。
Feb, 2023
本文介绍一种使用预处理的深度语境化文本编码器 BERT 来改善自然语言任务,包括抽象概括,并提出一种自我监督的方法来弥补对话概括模型的缺陷。在共享的编码器 - 解码器架构上构建和微调抽象对话概括模型,并在最近引入的 SAMSum 语料库中经验性地评估,证明我们的方法在抽象概括中做出了改进。
Sep, 2022
本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较,发现相对于参考摘要而言,由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析,最终提出了对于提高抽象化摘要生成的学习方法的思考。
Feb, 2020
提出了一种利用 Q-Former 作为音频 - 文本模态连接器、采用大型语言模型从语音特征直接生成文本摘要的端到端 SSum 模型,并采用多阶段训练方法来提高模型处理长篇语音的能力,最终在 How-2 数据集上取得了具有竞争力的性能。
Jul, 2024
本研究旨在通过采用课程学习方法,结合基于 Transformers 模型的自动生成摘要技术,从 Reddit 社交媒体上的心理健康相关帖子中提取性问题,从而提高医生的阅读效率和准确性,为人们提供更及时有效的心理卫生服务。相较于目前已有的模型,本方法在 Rouge 和 Bertscore 评估指标上分别有显著的相对改进。
Feb, 2023
本文通过使用句子重写模型,采用先提取常规句子,后对所选句子进行释义来生成摘要的策略,提出了一种通过强化学习直接最大化摘要级别 ROUGE 得分的新型训练信号,并在 CNN / Daily Mail 和纽约时报数据集上展示了新的最先进表现。在整个实验中,我们还演示了它在 DUC-2002 测试集上的普遍适用性。
Sep, 2019
通过使用大型语言模型(LLM)作为人工标注者的代理,本研究提出了一种名为 AugSumm 的方法来生成用于训练和评估的增广摘要,通过在 ChatGPT 上生成的合成摘要验证其质量,并在训练和评估中利用这些合成摘要,实验证明在合成摘要上进行预训练并在 GT 摘要上进行微调可以改善 ROUGE-L 指标。
Jan, 2024