以人类判断为指南,引导正式转移的自动度量
本文评估了风格转移 (ST) 领域自动度量标准对于形式风格转移这一常见任务的效果,包含了葡萄牙语、法语和意大利语,这是这一领域第一个多语言评估的工作,提出了最佳实践,指出了几个与人类评测高度一致的、在多语言下表现良好的模型,期望协助加速风格转移 (ST) 的发展。
Oct, 2021
本文回顾和总结了 97 篇风格迁移论文中人类评估实践的三个主要方面:风格迁移、含义保留和流畅性,并指出在风格迁移论文中,人类评估协议通常没有明确规定和标准化,这阻碍了该领域的研究可重复性和朝着更好的人类和自动评估方法的发展的进步。
Jun, 2021
本文提出了一种在 Yelp 情感数据集上实验性确定最佳实践的方法,解决了文本风格转移领域目前缺乏标准评估实践的问题;我们提出了自动化评估的一组度量标准,并展示了它们与人类判断的强关联性和一致性,并证明了三种检验模型在所关注的方面存在权衡,在特定的权衡图上评估风格转移模型的重要性。
Apr, 2019
本文讨论了文本风格迁移技术中的关键问题,即使用无监督生成方法,自动评估风格迁移任务的难点。通过对类似文献的总结,我们阐述了当前风格迁移研究的问题,并指出现有的自动评估方法存在缺陷,无法准确评估迁移后句子的风格准确性、内容相似度和流畅性。本文旨在引导研究者思考风格迁移和评估研究的未来趋势。
Oct, 2019
本研究创造出最大的专门风格转换语料库,针对形式化语言的风格,显示了使用机器翻译技术作为未来工作的强有力基线,并讨论了使用自动指标的挑战。
Mar, 2018
本文通过提出一种全能模型,同时采用平行数据和形式分类数据,以缓解数据稀疏性问题,并在形式转换基准数据集上取得最新的最优表现,发现该模型还可轻松适用于其他无监督文本样式转换任务,如无监督情感转换,并在三个广泛认可的基准测试中取得竞争优势。
Mar, 2019
本文针对样式转移的标准评估方法提出了几个问题,为了解决这些问题,我们建议通过计算原始文本和人类重写文本之间的 BLEU 来进行基准测试,并提出了三种优于现有技术的新体系结构。
Aug, 2019
本文提出使用对抗网络以学习分离内容表示和风格表示的方法来解决自然语言处理中的样式转移问题,并提出了新的评估指标来测量样式转移的转移强度和内容保留。作者在文章 - 新闻标题转移和正面 - 负面评论转移两个任务上评估了模型和指标,结果表明,所提出的模型的样式转移强度和内容保留得分比自动编码器更高,内容保留度指标与人类判断高度相关。
Nov, 2017