Jun, 2021

BARTScore：将生成文本作为文本生成进行评估

PDF
TL;DR本研究利用预训练的序列到序列模型建立生成文本评估系统，并提出了一种与可靠的度量标准 BARTScore，可灵活应用于不同角度的文本评估，包括信息性，流畅性和事实性等领域，通过在 16 个数据集和 7 个不同角度的测试中超越其他评测度量标准。
nlptext generationevaluationpre-trained modelbartscore
发现论文，激发创造
  • 使用 BERT 评估文本生成

    BERTScore 是一种针对文本生成的自动评估指标，利用上下文嵌入计算 token 的相似性，能够更好地与人类判断相关，并提供比现有度量更强的模型选择性能。

    Apr, 2019

  • GPTScore：任意评估

    本文提出了一种新的评估框架 GPTScore，利用生成预训练模型的崭新能力对生成的文本进行评分，实验结果表明该方法能够高效地实现对文本的定制化、多方面评估，不需要注解样本。

    Feb, 2023

  • 自然语言生成的人类似评估及其误差分析

    该论文介绍了一种基于 BARTScore 的人工智能评估方法，通过自动化错误分析以达到更接近人类的漏洞检测，实验证明该方法在 20 个测试环境中优于现有的最佳评价指标。

    Dec, 2022

  • DATScore：使用数据增强的翻译评估方法

    本论文介绍了一种使用数据增强技术来改进机器翻译评估的 DATScore 指标，并提出两种新的评分和术语加权策略以改善 BARTScore 计算过程的论点。实证结果表明，DATScore 与人类元评价的相关性比其他最新的最先进度量标准更好，特别是对于低资源语言。

    Oct, 2022

  • LLM 作为自恋评估者：当自我膨胀影响评分

    本研究探讨了自然语言处理领域中生成文本内容的自动评估问题，特别是着重考察了基于语言模型的评估指标在摘要任务中是否存在对相应底层语言模型的有利偏差，并揭示出在无参考摘要的情况下，这种评估指标可能受到潜在偏见的影响，强调未来需要开发更可靠的评估协议。

    Nov, 2023

  • BART：自然语言生成、翻译和理解的去噪序列到序列预训练

    BART 是一种预训练序列到序列模型的去噪自编码器，通过使用 Transformer 架构，并使用一些创新方法，如随机调换原始数据序列的顺序和填充原始数据中的实体，使得 BART 在文本生成、理解任务以及抽象对话等方面性能表现出色，超越了 RoBERTa，并提供了 1.1 个 BLEU 的机器翻译增量。

    Oct, 2019

  • 使用 BART 进行词汇约束文本生成的并行微调

    本文介绍了一种利用 Constrained BART 的方式进行词汇约束文本生成，并通过将任务分为两个子任务，将生成的负担从解码器转移到编码器，从而提高了句子质量和生成效率。实验结果表明，CBART 能够生成高质量和多样性的文本，同时显著加速推断。

    Sep, 2021

  • 教授预训练模型生成简单文本以进行文本简化

    本文探讨了一种新的持续性的预训练策略，通过把 BART 模型继续预训练来生成简单的文本，从而提高简化任务的表现，同时与其他大型语言模型进行了比较。

    May, 2023

  • KG-BART: 生成通识推理的知识图谱增强 BART 模型

    通过加入知识图谱，KG-BART 提出一种新颖的预训练语言生成模型，以增强通用常识推理的能力，提高生成的句子的逻辑性和自然度，并通过 CommonGen 数据集取得了显著的效果提升，可作为后续社区感知 QA 任务的场景背景。

    Sep, 2020

  • 自动度量文本生成系统有效性研究

    本篇论文提出了一种新的理论方法，用以评估文本生成模型的可靠性与鲁棒性，并在 WMT 21 和 Spot-The-Bot 数据上进行了应用与验证，并实现了对样本量的有效估算。

    Oct, 2022