Jun, 2021

风格迁移的人工评估综述

PDF
TL;DR本文回顾和总结了 97 篇风格迁移论文中人类评估实践的三个主要方面：风格迁移、含义保留和流畅性，并指出在风格迁移论文中，人类评估协议通常没有明确规定和标准化，这阻碍了该领域的研究可重复性和朝着更好的人类和自动评估方法的发展的进步。
style transferhuman evaluationreproducibilityresearchautomatic evaluation methods
发现论文，激发创造
  • 以人类判断为指南，引导正式转移的自动度量

    本文针对文本形式转换的评估问题进行研究，重点关注了风格强度、内容保留和流畅度等三个方面的评估，对常见与新型度量标准进行了人工评估和相关分析，提出了在通用性使用情况下建议及其在相关任务中的外推性。

    Apr, 2022

  • 文本风格转移的评估

    本文提出了一种在 Yelp 情感数据集上实验性确定最佳实践的方法，解决了文本风格转移领域目前缺乏标准评估实践的问题；我们提出了自动化评估的一组度量标准，并展示了它们与人类判断的强关联性和一致性，并证明了三种检验模型在所关注的方面存在权衡，在特定的权衡图上评估风格转移模型的重要性。

    Apr, 2019

  • 文本风格转换：探索与评估

    本文提出使用对抗网络以学习分离内容表示和风格表示的方法来解决自然语言处理中的样式转移问题，并提出了新的评估指标来测量样式转移的转移强度和内容保留。作者在文章 - 新闻标题转移和正面 - 负面评论转移两个任务上评估了模型和指标，结果表明，所提出的模型的样式转移强度和内容保留得分比自动编码器更高，内容保留度指标与人类判断高度相关。

    Nov, 2017

  • 评估风格迁移的评价指标：以多语言形式转移为例的案例研究

    本文评估了风格转移 (ST) 领域自动度量标准对于形式风格转移这一常见任务的效果，包含了葡萄牙语、法语和意大利语，这是这一领域第一个多语言评估的工作，提出了最佳实践，指出了几个与人类评测高度一致的、在多语言下表现良好的模型，期望协助加速风格转移 (ST) 的发展。

    Oct, 2021

  • 神经风格迁移的评估：综述

    神经风格迁移的评估方法和指标存在着不一致性和局限性，为了促进方法之间更有意义、更公平的比较，以及对研究结果的理解和解释的提升，我们提供了对现有评估技术的深入分析，并提出了标准化评估实践的建议。

    Jan, 2024

  • 现实世界文本风格转移自动评估的艰巨任务

    本文讨论了文本风格迁移技术中的关键问题，即使用无监督生成方法，自动评估风格迁移任务的难点。通过对类似文献的总结，我们阐述了当前风格迁移研究的问题，并指出现有的自动评估方法存在缺陷，无法准确评估迁移后句子的风格准确性、内容相似度和流畅性。本文旨在引导研究者思考风格迁移和评估研究的未来趋势。

    Oct, 2019

  • 文本风格转移：重新训练、汇报错误、与重写比较

    本文针对样式转移的标准评估方法提出了几个问题，为了解决这些问题，我们建议通过计算原始文本和人类重写文本之间的 BLEU 来进行基准测试，并提出了三种优于现有技术的新体系结构。

    Aug, 2019

  • 文本样式转换评估的标准化与验证呼吁

    进行元分析发现 TST 评估在人工和自动化评估方面存在实践上的不一致和显著的标准化和验证差距，提出了要求未来研究满足的需求，以弥补这些差距。

    Jun, 2023

  • 利用大型语言模型进行文本风格转换评估

    我们评估了不同的大型语言模型在文本风格转换评估中的性能并提出了输入提示的集成来增加评估的鲁棒性。

    Aug, 2023

  • 在内容保持的风格转换方面，不要在改写时丢失信息

    文本风格转换方法在自然语言处理中越来越受欢迎，允许将文本从有毒到神经、从正式到非正式、从古老到现代英语等形式进行改写。在一些应用中，解决这一任务不仅仅是生成一些神经 / 非正式 / 现代化的文本，更重要的是保持原始内容不变。通过比较各种风格转换模型在正式转换领域的实例，我们对各种风格转换方法的内容保留能力进行了研究。我们创建了一个形式与非正式任务导向的对话的平行数据集，与 GYAFC 等现有数据集的关键区别是包含了必须在改写过程中保留的预定义语义槽，例如命名实体。这个额外的注释允许我们对几种最先进的风格转换技术进行精确的对比研究。我们研究的另一个结果是对无监督方法 LEWIS 进行改进，在所提出的任务中取得了明显的改进，优于原始方法和所有评估的基准方法。

    Aug, 2023