Nov, 2023

利用编辑操作的端到端神经句子简化

PDF
TL;DR通过句子级和标记级损失权重，使用自然语言处理模型对生物医学文本进行自动简化，以实现更接近人工注释者创建的简化文本的编辑距离，语言简约度和编辑数量。
automatic simplificationlanguage modelsbiomedical textsentence-level loss weightstoken-level loss weights
发现论文，激发创造
  • 大型语言模型和控制机制改善生物医学摘要的文本可读性

    将最先进的大型语言模型应用于生物医学摘要简化的任务，通过领域微调、基于提示学习、控制令牌机制等方法进行了评估，发现 BART-Large with Control Token 机制在简单性得分上优于 T5-Base，而 T5-Base 在信息保留得分上优于 BART-Large with Control Token。

    Sep, 2023

  • 成功与失败之间的舞蹈：使用 SALSA 进行编辑层次简化评估

    研究了基于大型语言模型的文本简化方法，提出了一种人工评估框架 SALSA，并使用该框架进行了细致的简化质量评估，发现 GPT-3.5 可以比人类更优秀的进行简化但仍存在错误；同时，提出了一种基于编辑注释的自动评估方法 LENS-SALSA，并报告了良好的初步结果。

    May, 2023

  • 利用大型语言模型预测编辑操作来减少序列长度

    本文提出一种通过预测编辑操作集合来实现本地序列转导任务的方法，并使用指令调整来对大型语言模型进行监督学习，实验证明该方法在常见任务中具备与基线模型相当的性能，同时可将目标文本长度缩小 21%。

    May, 2023

  • 用于词汇简化的 LLM 增强对抗编辑系统

    在低资源场景下，我们提出了一种无需平行语料库的新型词汇简化方法，该方法利用对原始句子进行混淆损失和不变性损失的指导来预测词汇编辑，并引入了创新的 LLM 增强损失，将大型语言模型的知识蒸馏到小型词汇简化系统中。大量的实验结果和三个基准 LS 数据集的分析证明了我们提出方法的有效性。

    Feb, 2024

  • AI 生成之抄袭侦测：从句子到文件级别

    使用自然语言处理技术的对比学习方法，通过多重语义解读对大型语言模型的生成文本进行分析，达到了 94% 的准确率，在学术界检测人工智能生成的文本的抄袭和欺诈具有强大的适应性和可靠性。

    Jun, 2023

  • 句子简化的动态多层多任务学习

    本文提出了一种基于序列到序列的句子简化模型，通过多任务学习及时改进其包含性和释义能力。文章还介绍了一种新的多层软共享方法，以及一种动态学习的多臂赌博机训练方法，实验结果表明我们的模型在语义相关任务上的表现优于竞争模型。

    Jun, 2018

  • 迭代编辑型无监督句子简化

    我们提出了一种新的迭代式基于编辑的无监督句子简化方法，其模型通过包括流畅性、简洁性和意义保持在内的评分函数进行指导，并在复杂句子上迭代执行单词和短语级别的编辑。与之前的方法相比，我们的模型不需要并行的训练集，但更可控和可解释。对 Newsela 和 WikiLarge 数据集的实验表明，我们的方法几乎与最先进的监督方法一样有效。

    Jun, 2020

  • 基于大型语言模型的句子简化

    本文使用零 / 少量数据训练的大型语言模型在众多基准测试集上进行了实验分析，结果表明 LLMs 优于最先进的句子简化方法，并被评为与人类标注者一致。

    Feb, 2023

  • LEALLA: 通过知识蒸馏学习轻量级、语言无关的句子嵌入

    本研究使用轻量级模型系统地探索学习通用句子嵌入的方法，证明了一种深薄编码器可以构建 109 种语言的强韧低维句子嵌入，并通过引入知识蒸馏方法进一步提高模型性能。实验证明，如此轻量级模型在 Tatoeba，联合国和 BUCC 上展现了出色的效果，并在 TensorFlow Hub 上发布了名为 LEALLA 的语言无关句子嵌入模型。

    Feb, 2023

  • EditNTS: 通过显式编辑的句子简化神经程序解释器模型

    这篇论文介绍了第一个基于神经程序解释器方法实现显式编辑操作（添加、删除和保留）的句子简化模型。与旧有的序列到序列机器翻译方法不同，该方法直接训练预测输入句子的目标部分的显式编辑操作，表现大幅度优于先前的最先进的神经句子简化模型，在人类评价方面也得到了肯定。

    Jun, 2019