EMNLPOct, 2023

医疗文本简化：通过不太可能的训练和重新排序的束搜索解码来优化可读性

PDF
TL;DR本文研究了在医学领域中进一步提高文本简化可读性的方法，通过提出新的非概然性损失函数和重新排序的束搜索解码方法，在三个数据集上取得了更好的可读性指标表现，这些研究结果为改善医学领域的文本简化提供了有希望的途径。
text simplificationaimedical fieldunlikelihood lossreadability metrics
发现论文，激发创造
  • 医疗文本的段落级简化

    本研究探讨了如何应用语言模型来改进医学文本的简化，提出了一种基于似然分数的新度量标准，并对编码器解码器模型的新方法进行了评估，同时建立了一些语料库。

    Apr, 2021

  • 医学文本的多语言简化

    本研究介绍了 MultiCochrane 数据集，并评估了跨多语言的医学简化文本模型，尽管该模型能够生成可行的简化文本，但我们也发现了仍未解决的挑战。

    May, 2023

  • 生物医学科学评论的自动化普通语言摘要

    本文介绍了一个新的自动生成生物医学科学综述文献简化版的任务，并通过分析各种挑战，实验和评估，展示了使用现代神经架构自动生成的简化版摘要可以达到良好的质量和可读性。

    Dec, 2020

  • 非极大化训练的神经文本生成

    提出一种基于非似然训练的神经文本生成方法，有效降低生成文本的重复性，将标准束搜索的输出性能提升至目前最优，并提供了一种强有力的替代神经文本生成中已有技术的方法。

    Aug, 2019

  • AutoMeTS：医学文本简化自动补全

    本研究研究了预训练神经语言模型在医疗领域文本简化中的应用，引入了一个包含对齐的英文维基百科与简单英文维基百科句子的新的平行医学数据集，并比较了四个 PNLM（BERT，RoBERTa，XLNet 和 GPT-2），并演示了如何将待简化的句子的附加上下文合并以实现更好的结果（相对最佳单独模型提高 6.17% 的绝对值）。同时，我们介绍了一个组合模型，它结合了四个 PNLM，并且比最佳单独模型表现出 2.1% 的优越性，使得整体单词预测准确率达到 64.52%。

    Oct, 2020

  • 隐式不可能性训练：利用强化学习提升神经文本生成

    本文提出在语言模型中使用策略梯度强化学习进行微调，以直接优化更好的文本生成，将这种方法应用于最小化生成文本中的重复，并展示了当与 unlikelihood training 相结合时，我们的方法进一步减少了重复而未影响语言模型质量。此外，我们还评估了其他方法来改进训练和解码时间，并使用各种度量标准来比较它们，以达到更好的文本生成输出的控制。

    Jan, 2021

  • 基于语义相关性的神经网络文本摘要与简化

    本文介绍了一种基于语义相关性的神经模型，用于促进文本摘要和语言简化的源文本和简化文本之间高度的语义相似性。

    Oct, 2017

  • 无监督神经文本简化

    本文提出了第一次尝试仅依赖于未标记文本语料库进行无监督神经文本简化的核心框架，由共享编码器和一对注意解码器组成，并通过基于鉴别和去噪的损失进行简化知识的获取，并使用从 en-Wikipedia 转储的未标记文本进行训练。我们在公共测试数据上进行的分析（包括定量和定性的人类评估）表明，所提出的模型可以在词汇和句法两个级别上进行文本简化，竞争现有的监督方法。此外，增加几个标记的对也进一步提高了性能。

    Oct, 2018

  • 利用文本语义改进生物医学视觉 - 语言处理

    本文介绍了一种基于语义模型的对比学习方法，该方法在生物医学领域的文本 - 语言建模中取得了目前最先进的结果，利用该方法可以更好地理解医学图像和报告。

    Apr, 2022

  • 大型语言模型和控制机制改善生物医学摘要的文本可读性

    将最先进的大型语言模型应用于生物医学摘要简化的任务，通过领域微调、基于提示学习、控制令牌机制等方法进行了评估，发现 BART-Large with Control Token 机制在简单性得分上优于 T5-Base，而 T5-Base 在信息保留得分上优于 BART-Large with Control Token。

    Sep, 2023