EMNLPOct, 2021

评估风格迁移的评价指标：以多语言形式转移为例的案例研究

PDF
TL;DR本文评估了风格转移 (ST) 领域自动度量标准对于形式风格转移这一常见任务的效果，包含了葡萄牙语、法语和意大利语，这是这一领域第一个多语言评估的工作，提出了最佳实践，指出了几个与人类评测高度一致的、在多语言下表现良好的模型，期望协助加速风格转移 (ST) 的发展。
style transferautomatic evaluationmultilingualformality style transferbest practices
发现论文，激发创造
  • 以人类判断为指南，引导正式转移的自动度量

    本文针对文本形式转换的评估问题进行研究，重点关注了风格强度、内容保留和流畅度等三个方面的评估，对常见与新型度量标准进行了人工评估和相关分析，提出了在通用性使用情况下建议及其在相关任务中的外推性。

    Apr, 2022

  • XFORMAL: 多语种形式化风格转换基准

    通过创建和发布多种形式重组非正式文本的基准测试 XFORMAL，我们迈出了通往多语言风格转移的第一步。XFORMAL 的结果表明，最先进的风格转移方法与简单的基线方法表现相当，这表明在进行多语言风格转移时更具挑战性。

    Apr, 2021

  • GYAFC 数据集：正式语体转换的语料库、基准和度量标准

    本研究创造出最大的专门风格转换语料库，针对形式化语言的风格，显示了使用机器翻译技术作为未来工作的强有力基线，并讨论了使用自动指标的挑战。

    Mar, 2018

  • 文本风格转移：重新训练、汇报错误、与重写比较

    本文针对样式转移的标准评估方法提出了几个问题，为了解决这些问题，我们建议通过计算原始文本和人类重写文本之间的 BLEU 来进行基准测试，并提出了三种优于现有技术的新体系结构。

    Aug, 2019

  • 文本样式转换评估的标准化与验证呼吁

    进行元分析发现 TST 评估在人工和自动化评估方面存在实践上的不一致和显著的标准化和验证差距，提出了要求未来研究满足的需求，以弥补这些差距。

    Jun, 2023

  • 现实世界文本风格转移自动评估的艰巨任务

    本文讨论了文本风格迁移技术中的关键问题，即使用无监督生成方法，自动评估风格迁移任务的难点。通过对类似文献的总结，我们阐述了当前风格迁移研究的问题，并指出现有的自动评估方法存在缺陷，无法准确评估迁移后句子的风格准确性、内容相似度和流畅性。本文旨在引导研究者思考风格迁移和评估研究的未来趋势。

    Oct, 2019

  • 利用大型语言模型进行文本风格转换评估

    我们评估了不同的大型语言模型在文本风格转换评估中的性能并提出了输入提示的集成来增加评估的鲁棒性。

    Aug, 2023

  • 风格迁移的人工评估综述

    本文回顾和总结了 97 篇风格迁移论文中人类评估实践的三个主要方面：风格迁移、含义保留和流畅性，并指出在风格迁移论文中，人类评估协议通常没有明确规定和标准化，这阻碍了该领域的研究可重复性和朝着更好的人类和自动评估方法的发展的进步。

    Jun, 2021

  • 文本风格转换：探索与评估

    本文提出使用对抗网络以学习分离内容表示和风格表示的方法来解决自然语言处理中的样式转移问题，并提出了新的评估指标来测量样式转移的转移强度和内容保留。作者在文章 - 新闻标题转移和正面 - 负面评论转移两个任务上评估了模型和指标，结果表明，所提出的模型的样式转移强度和内容保留得分比自动编码器更高，内容保留度指标与人类判断高度相关。

    Nov, 2017

  • 文本风格转移的评估

    本文提出了一种在 Yelp 情感数据集上实验性确定最佳实践的方法，解决了文本风格转移领域目前缺乏标准评估实践的问题；我们提出了自动化评估的一组度量标准，并展示了它们与人类判断的强关联性和一致性，并证明了三种检验模型在所关注的方面存在权衡，在特定的权衡图上评估风格转移模型的重要性。

    Apr, 2019