一种简单有效的自动后编辑转移学习方法

ACLJun, 2019

一种简单有效的自动后编辑转移学习方法

A Simple and Effective Approach to Automatic Post-Editing with Transfer Learning

Gonçalo M. Correia, André F. T. Martins

TL;DR该论文介绍了一种使用预训练的 BERT 模型在自动后编辑系统的编码器和解码器上进行微调的方法，以代替使用大量的人工生成数据进行训练的传统方式，在 23,000 个句子的数据集上进行训练，只需 3 个小时就可以取得与传统方法相当的结果，并且在添加了人工数据之后，该方法可以获得最新的最好的结果。

Abstract

automatic post-editing (APE) seeks to automatically refine the output of a black-box machine translation (MT) system through human post-edits. APE systems are usually trained by complementing human post-edited da

automatic post-editing machine translation bert models fine-tuning back-translation

发现论文，激发创造

使用增量机器翻译系统评估自动评估衡量标准

我们介绍了一个数据集，它包含了在 12 个翻译方向上，在六年时间内每周收集的商业机器翻译。我们假设商业系统会随着时间改进，这使我们能够评估基于对最近翻译的偏好的机器翻译度量标准。我们的研究确认了机器翻译度量研究中的几个之前的发现，并展示了该数据集作为度量评估的测试平台的价值。我们将我们的代码发布在此 https URL

Jul, 2024

视觉语言模型的概念代码书学习

本论文提出了概念代码书学习（CoCoLe）方法，用于在少样本情况下对视觉语言模型（VLMs）进行微调，以提高其泛化能力。实验证明，CoCoLe 方法在各种评估设置中均明显优于现有最先进方法，包括基于新知识的泛化、跨数据集评估和领域泛化任务。

Jul, 2024

MG-Verilog：面向增强 LLM 辅助 Verilog 生成的多粒度数据集

通过提供高质量的硬件数据集和平衡的微调方案，使大型语言模型在硬件设计任务中的表现得到了持续改进。

Jul, 2024

大规模语言模型中的辨别性推理对法律判决预测的促进

通过引入基于人类司法推理的问 - 辨 - 判 (ADAPT) 推理框架，将大型语言模型 (LLMs) 用于有效的法律判决预测，并通过多任务合成轨迹的微调来提高准确性和效率，本论文在两个广泛使用的数据集上进行了详尽的实验证明了我们的框架在法律判决预测方面的优越性，尤其是对于复杂和混乱的指控。

Jul, 2024

PLeaS - 模型合并的排列和最小二乘

提出了 PLeaS 算法，可以合并不同基础模型的机器学习系统，通过最大化对齐和最小化特征近似误差来生成所需大小的合并模型，并实现比最先进的合并方法更好的性能。

Jul, 2024

FAFE: 基于测地距离损失的免疫复合建模与噪声组帧

通过分析 AlphaFold2 的主要损失函数 FAPE 的局限性，本文提出了一种新的地理损失函数 FAFE 以解决高旋转误差目标的梯度消失问题，并证明了 FAFE 可以重构为一种群感知的地理损失函数，通过该损失函数的微调，成功提高了抗体 - 抗原复合物计算模型的准确率。

Jul, 2024

SplitLoRA：大型语言模型的分割参数高效微调框架

本研究提出了用于大型语言模型的分割学习框架 SplitLoRA，综合了联邦学习和分割学习的优势，显著提高了训练效率，并通过广泛的模拟验证表明 SplitLoRA 比最先进的模型微调框架在更短的时间内实现了目标精度，展示了 SplitLoRA 的卓越训练性能。

Jul, 2024

增加模型容量的免费方式：参数高效微调的简单策略

通过低秩更新和并行权重模块来增强模型容量，提出了一种名为 CapaBoost 的简单且有效的策略，可无需添加参数，整合至各种现有的参数高效微调方法中，实验证明其在多个下游任务中均能显著提升性能。

Jul, 2024

少即是多：准确无需 Web 规模数据的语音识别和翻译

最新的语音识别和翻译技术依赖于数十万小时的互联网语音数据。我们认为即使不依赖于互联网规模的数据，也可以达到最先进的准确性。Canary - 多语言 ASR 和语音翻译模型在英语、法语、西班牙语和德语等语言上优于当前最先进的模型 - Whisper、OWSM 和 Seamless-M4T，与这些模型相比，它使用的数据量更少一个数量级。三个关键因素使得这种数据高效模型成为可能：（1）基于 FastConformer 的注意力编码器 - 解码器架构，（2）使用机器翻译生成的合成数据进行训练，以及（3）先进的训练技术：数据平衡、动态数据融合、动态分桶和抗噪音微调。该模型以及权重和训练代码将开源。

Jun, 2024

专业字幕场景下的上下文机器翻译案例研究

将影片元数据等额外文本上下文引入机器翻译（MT）流程可以提高翻译质量，通过最近的自动评估可得知，但这类系统在工业领域的积极影响尚未得到证实。我们报告了一项工业案例研究，旨在调查 MT 在专业电视字幕翻译场景中的受益和如何利用额外文本上下文影响后期编辑。我们发现，在修正具有上下文感知模型 MTCue 输出时，与非上下文模型相比，后期编辑人员标记了更少与上下文相关的错误。我们还介绍了一项针对从业后期编辑人员的调查结果，该调查强调了 MT 中持续存在的上下文不足问题。我们的发现加强了在完全上下文化的 MT 领域开展进一步工作的动力。

Jun, 2024