Apr, 2023

Angler：帮助机器翻译从业者优先考虑模型改进

PDF
TL;DR通过采访苹果的 13 名机器学习从业者，研究人员发现他们构建小的有针对性的测试集来评估一个错误的性质、范围以及对用户的影响。研究者开发了一种交互式的可视化分析工具 ——Angler，以帮助从业者优先改进模型。研究发现，参与者通过分析定量摘要统计信息和定性评估数据读取句子，可以形成更有趣和用户关注的假设来优化模型。
发现论文，激发创造
  • 训练，分类，解释：学习诊断翻译模型

    本文介绍了一种基于神经文本分类器的方法，将自然语言处理中翻译模型的自动化评估与人类评估相结合，并揭示人机差异，其中包含翻译质量和人工智能的深入讨论。

    Mar, 2019

  • 机器学习能否预测公民报告的钓鱼者行为？

    通过机器学习方法利用辅助数据对渔民行为进行预测，以日常环境、社会经济、渔业管理目标和淡水区域的事件为基础，具有较高的准确率和潜在的扩展空间。

    Feb, 2024

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022

  • 不要排除掉单语言说话者：一种众包机器翻译数据的方法

    本文提出了一种新的机器翻译数据集，利用 GIF 作为中介，从单语注释器中收集平行句子，从而降低了需要寻找、训练双语人员的成本，并经过内在和外在评估，发现使用 GIFs 收集的句子确实具有更高的质量。

    Jun, 2021

  • 错误中蕴藏着魔鬼的力量：利用大型语言模型进行细粒度机器翻译评估

    自动机器翻译评估是推动机器翻译系统快速迭代发展的关键工具，本文在已有单一评分指标的基础上提出 AutoMQM，一种通过大语言模型的推理和上下文学习能力来识别和分类翻译错误的提示技术。通过评估最新的大语言模型 PaLM 和 PaLM-2，通过简单的得分预测提示，发现 AutoMQM 在 PaLM-2 模型上优于仅提示得分的性能，并能提供与人工注释相一致的错误范围，具有解释性。

    Aug, 2023

  • 机器翻译人类评估的有效性改进探讨

    本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。

    Apr, 2022

  • 在线学习与机器翻译评估：以最少的人力努力找到最佳系统

    基于在线学习的机器翻译自动化指标优化方法，通过对多个语言对进行评估，快速收敛于表现最佳的前三个系统。

    May, 2021

  • Onception: 面向真实世界机器翻译的专家建议主动学习

    本文主要探讨了在低资源环境下运用主动学习来提高机器翻译系统的翻译质量，使用流式主动学习提高翻译质量，通过动态组合多种查询策略，使用预测和专家建议来决定最优策略。通过实验证明，在更少的人工干预下，使用主动学习可以收敛到最好的机器翻译系统。

    Mar, 2022

  • 探索使用大型语言模型进行人类化翻译策略

    本文提出了一个名为 MAPS 框架，通过多方面提示和选择的方式，使用大型语言模型分析源文本获取三个与翻译相关的知识方面：关键词、主题和相关演示，并通过质量估计的机制过滤噪音和无用的知识来指导翻译过程，实验证明 MAPS 在最新的 WMT22 测试集上对八个翻译方向都有显著和一致的改进，为解决翻译中的幻觉错误提供了关键的知识。

    May, 2023

  • 哪种提示更具差异性？用于高效人工 LLM 评估的数据排序

    通过度量方法，我们的研究旨在最小化人工评估所需的注释数量，从而提高评估质量并减少时间和成本。我们发现，这种方法有效地降低了模棱两可的结果，对于未来大型语言模型评估具有重要意义。

    Oct, 2023