Jun, 2024
通过最优传输实现 LLM 的分布偏好对齐
Distributional Preference Alignment of LLMs via Optimal Transport
Igor Melnyk, Youssef Mroueh, Brian Belgodere, Mattia Rigotti, Apoorva Nitsure...
TL;DR基于最优输运的对齐（AOT）是一种针对 LLMs 的分布偏好对齐的新方法，通过在未配对的偏好数据中使正样本的奖励分布在一阶随机支配负样本的分布来对齐 LLMs。我们使用平滑和凸代价，对这种一阶随机支配的凸松弛进行了引入，并将其作为一个最优输运问题。通过实证测量排序，由于最优输运问题的一维特性和成本的凸性，它有一个封闭的解。我们通过罚除违反正样本奖励分布对负样本奖励分布的随机支配来使用 AOT 目标微调 LLMs，并通过考虑 OT 问题的对偶并证明其以参数速率收敛来分析 AOT 的样本复杂性。在各种对齐数据集和 LLMs 上的实证结果表明，在 Open LLM Benchmarks 和 AlpacaEval 的评估中，AOT 能够产生最先进的 7B 系列模型。