EMNLPOct, 2023

优化人工编辑的摘要生成

PDF
TL;DR通过人类反馈范式学习的大型语言模型以及人类编辑和模型生成数据结合的新技术 Sequence Alignment (un) Likelihood Training (SALT) 在医学领域自动文摘中展示了有效性。
learning with human feedback paradigmslarge language modelsabstractive summarizationhuman editssequence alignment (un)likelihood training (salt)
发现论文，激发创造
  • 临床摘要中事实对齐的合成模仿编辑反馈

    使用 ChatGPT 生成高质量反馈数据，从而改善临床笔记概括任务中的事实一致性，并展示了 GPT 编辑在人类对齐中的潜在用途，特别是从事实角度。

    Oct, 2023

  • 人在环节下的抽象式对话摘要

    本文提出引入不同层次的人类反馈，结合增强学习以提高抽象对话摘要的质量。实验表明，该方法在人类判断方面优于监督式基线，并能提高摘要质量。

    Dec, 2022

  • 从人类反馈中学习摘要

    通过使用强化学习优化模型的奖励函数来预测人类偏好总结，本文展示了可显著提高总结质量的可能性，并在 TL;DR 数据集上取得了显著的优势。

    Sep, 2020

  • SYNFAC-EDIT：临床摘要的事实对齐的合成模仿编辑反馈

    本研究利用 GPT-3.5 和 GPT-4 生成高质量的反馈，以提高临床笔记摘要的事实一致性，主要关注医学专业人员优化人工智能系统输出的实际场景，通过两种不同的对齐算法（DPO 和 SALT）基于 GPT 的编辑反馈，致力于减少幻觉并与医学事实紧密对齐，突显了 GPT 编辑在提高临床信息准确性方面的巨大潜力。

    Feb, 2024

  • 交互式文本摘要编辑

    通过 REVISE 框架，将神经网络模型及人工编辑相结合，使得文本摘要的过程个性化，协作化和自适应化。

    Jun, 2023

  • AugSumm：利用大型语言模型生成的合成标签进行通用语音摘要

    通过使用大型语言模型（LLM）作为人工标注者的代理，本研究提出了一种名为 AugSumm 的方法来生成用于训练和评估的增广摘要，通过在 ChatGPT 上生成的合成摘要验证其质量，并在训练和评估中利用这些合成摘要，实验证明在合成摘要上进行预训练并在 GT 摘要上进行微调可以改善 ROUGE-L 指标。

    Jan, 2024

  • 临床文本摘要：大型语言模型的应用能超越人类专家

    在本研究中，我们采用八个大型语言模型，在六个数据集和四个不同的摘要任务（放射学报告、患者问题、进展记录和医生 - 患者对话）上应用领域适应方法，系统评估了它们的效果，而且展示出最佳适应的大型语言模型的摘要相较于人工摘要在完整性和正确性方面更可取。此外，我们还将传统的自然语言处理指标与医生评分进行了相关性分析，以提高对这些指标与医生喜好的理解。最终，我们的研究证明了大型语言模型在多个临床文本摘要任务中超越人工专家，这意味着将大型语言模型整合到临床工作流程中可以减轻文档负担，使临床医生能够更多关注个性化患者护理和其他医学中不可替代的人工环节。

    Sep, 2023

  • 新闻摘要的大型语言模型基准测试

    通过对十种不同的预训练方法、提示和模型规模的大型语言模型进行人类评估，我们发现指导调整而不是模型规模是 LLM 的零样本摘要能力的关键，并通过从自由职业作家收集的高质量摘要进行人类评估，得出 LLM 摘要被认为与人类撰写的摘要相媲美的结论。

    Jan, 2023

  • 文本摘要中后编辑效果探究

    本研究探索了人工智能自动摘要以及人工手动摘要之间的优劣，研究发现人工智能生成的摘要进行后编辑可以提升摘要质量，不过效果因人而异。

    Jun, 2022

  • 总结（几乎）已死

    大型语言模型在总结任务中表现出令人满意的性能，超过了参考摘要的基准，人类评估者明显偏好大型语言模型生成的摘要而不是人工撰写的摘要和经过微调的模型生成的摘要，因为大型语言模型生成的摘要具有更好的事实连贯性和更少的外在幻觉实例。

    Sep, 2023