文本风格转移的评估

Apr, 2019

Evaluating Style Transfer for Text

Remi Mir, Bjarke Felbo, Nick Obradovich, Iyad Rahwan

TL;DR本文提出了一种在 Yelp 情感数据集上实验性确定最佳实践的方法，解决了文本风格转移领域目前缺乏标准评估实践的问题；我们提出了自动化评估的一组度量标准，并展示了它们与人类判断的强关联性和一致性，并证明了三种检验模型在所关注的方面存在权衡，在特定的权衡图上评估风格转移模型的重要性。

Abstract

Research in the area of style transfer for text is currently bottlenecked by a lack of standard evaluation practices. This paper aims to alleviate this issue by experimentally identifying best practices with a Ye

style transfer evaluation practices yelp sentiment dataset automated evaluation tradeoffs

发现论文，激发创造

文本风格转换：探索与评估

本文提出使用对抗网络以学习分离内容表示和风格表示的方法来解决自然语言处理中的样式转移问题，并提出了新的评估指标来测量样式转移的转移强度和内容保留。作者在文章 - 新闻标题转移和正面 - 负面评论转移两个任务上评估了模型和指标，结果表明，所提出的模型的样式转移强度和内容保留得分比自动编码器更高，内容保留度指标与人类判断高度相关。

Nov, 2017

文本风格转移：重新训练、汇报错误、与重写比较

本文针对样式转移的标准评估方法提出了几个问题，为了解决这些问题，我们建议通过计算原始文本和人类重写文本之间的 BLEU 来进行基准测试，并提出了三种优于现有技术的新体系结构。

Aug, 2019

以人类判断为指南，引导正式转移的自动度量

本文针对文本形式转换的评估问题进行研究，重点关注了风格强度、内容保留和流畅度等三个方面的评估，对常见与新型度量标准进行了人工评估和相关分析，提出了在通用性使用情况下建议及其在相关任务中的外推性。

Apr, 2022

风格迁移的人工评估综述

本文回顾和总结了 97 篇风格迁移论文中人类评估实践的三个主要方面：风格迁移、含义保留和流畅性，并指出在风格迁移论文中，人类评估协议通常没有明确规定和标准化，这阻碍了该领域的研究可重复性和朝着更好的人类和自动评估方法的发展的进步。

Jun, 2021

现实世界文本风格转移自动评估的艰巨任务

本文讨论了文本风格迁移技术中的关键问题，即使用无监督生成方法，自动评估风格迁移任务的难点。通过对类似文献的总结，我们阐述了当前风格迁移研究的问题，并指出现有的自动评估方法存在缺陷，无法准确评估迁移后句子的风格准确性、内容相似度和流畅性。本文旨在引导研究者思考风格迁移和评估研究的未来趋势。

Oct, 2019

学习文本风格转移与直接奖励

本研究探讨了一种基于奖励机制的训练算法以进行文本风格转换任务，结合神经机器翻译模型的语义相似度度量来显式评估系统输出与输入文本之间内容的保留，实验结果显示该模型相对于强基准系统在自动和人类评估上具有显著的优势。

Oct, 2020

非平行文本转换的无监督评估指标和学习标准

该研究提出了一种自动生成文本释义并修改其属性或属性的方法，解决了 “无对照数据” 的问题，利用多种模型进行实验并给出新的损失函数和训练策略，提高了语义保留和流畅度，该方法能够显著提高基准方法。

Oct, 2018

利用大型语言模型进行文本风格转换评估

我们评估了不同的大型语言模型在文本风格转换评估中的性能并提出了输入提示的集成来增加评估的鲁棒性。

Aug, 2023

专家风格转换：专家和外行更好沟通的新任务

该研究提出了专业语言简化的新任务，并贡献了一个手工注释的数据集，以减轻知识差异带来的沟通障碍。研究表明五种最先进的模型在样式转移和文本简化方面的表现存在明显差距，并探讨了自动评估的挑战和未来的研究方向。

May, 2020

评估风格迁移的评价指标：以多语言形式转移为例的案例研究

本文评估了风格转移 (ST) 领域自动度量标准对于形式风格转移这一常见任务的效果，包含了葡萄牙语、法语和意大利语，这是这一领域第一个多语言评估的工作，提出了最佳实践，指出了几个与人类评测高度一致的、在多语言下表现良好的模型，期望协助加速风格转移 (ST) 的发展。

Oct, 2021