summarization tasks | BriefGPT

关键词summarization tasks

搜索结果 - 8

词汇的重要性：什么影响了摘要的领域适应性？
通过分析训练数据中的 ` 词汇 ' 对总结任务的具体影响，本文研究细粒度因素对于领域适应性能的影响，并提出将数据集学习难度量化为生成式总结的学习难度，并得出跨域重叠与总结任务的性能增益之间存在近似线性关系的实验结论，从而实现对未知领域数据集
PDF13 days ago
SIFiD：基于 LLM 的摘要事实不一致检测再评估
使用大型语言模型进行概要不一致性检测的研究，通过对比 GPT-3.5 和 GPT-4 的性能，我们提出了 SIFiD（使用过滤文档进行概要不一致性检测），该方法通过自然语言推理或度量概要与文档之间的语义相似性来识别文档中的关键句子。
PDF4 months ago
WARM: 关于加权平均奖励模型的好处
通过强化学习将大型语言模型与人类偏好进行调整可能导致奖励欺骗，本文提出了一种解决方案，即使用加权平均奖励模型（WARM），通过对多个奖励模型进行微调并在权重空间中进行平均，以提高模型预测的质量和对齐度。
PDF5 months ago
LLM 作为自恋评估者：当自我膨胀影响评分
本研究探讨了自然语言处理领域中生成文本内容的自动评估问题，特别是着重考察了基于语言模型的评估指标在摘要任务中是否存在对相应底层语言模型的有利偏差，并揭示出在无参考摘要的情况下，这种评估指标可能受到潜在偏见的影响，强调未来需要开发更可靠的评估
PDF8 months ago
信任你的证据：上下文感知解码减少幻觉
提出了一种上下文感知解码技术（CAD），通过对比上下文的存在与否来放大模型生成输出的概率得分，从而显著提高了 OPT、GPT、LLaMA 和 FLAN-T5 等不同 LM 系列在摘要任务中的可信度，并能够有效地改变模型的先验知识以解决知识冲
PDFa year ago
ACLVCSUM：一个多用途的中文会议摘要数据集
本研究介绍了一个全面的中文会议记录数据集 (VCSum)，包含 239 个真实会议的记录，总时长超过 230 小时，并提供了主题分割、标题、段落摘要、总结摘要和关键语句的注释。研究分析确认了该数据集在会议记录摘要方面的有效性和稳健性，并提供
PDFa year ago
BudgetLongformer：我们能否以低成本从头开始预训练 SotA 法律语言模型？
通过 Replaced Token Detection 任务提高训练信号量，我们训练了 Longformer 模型来展示使用更少的计算力可以预训练高效的语言模型，并在长文本摘要任务上取得了很好的性能。
PDF2 years ago
ACLLongT5: 高效的长序列文本转换器
本文介绍了一种新模型 LongT5，该模型将长输入变换（ETC）的注意力机制和摘要预训练（PEGASUS）的预训练策略整合到可扩展的 T5 架构中，取得了更好的自然语言摘要和问答系统结果。
PDF3 years ago