DADA: 动态聚合语言规则实现方言适应性

May, 2023

DADA: 动态聚合语言规则实现方言适应性

DADA: Dialect Adaptation via Dynamic Aggregation of Linguistic Rules

Yanchen Liu, William Held, Diyi Yang

TL;DR提出了一种叫做 DADA 的模块化方法，通过将处理特定语言特征的适配器组合在一起，赋予了 SAE 训练模型多方言鲁棒性。 DADA 的组合架构允许针对特定的方言变体进行定向适应，同时适应多种方言。通过实验证明，DADA 适用于单一任务和指令微调语言模型，为将现有的 LLMs 适应不同英语方言提供了一个可扩展和可解释的框架。

Abstract

Existing large language models (LLMs) that mainly focus on Standard American English (SAE) often lead to significantly worse performance when being applied to other english dialects. While existing mitigations ta

large language models multi-dialectal dialect adaptation linguistic features english dialects

发现论文，激发创造

TADA: 英语任务不可知的方言适配器

文中提出了一种无需特定任务监督的任务不可知方言适应方法，通过使用不同方言的适配器并将其与标准美式英语方言的特定任务适配器结合，该方法可以提高方言的鲁棒性，并在 GLUE 基准测试的 4 种方言版本上取得了良好效果。

May, 2023

高效推断的动态领域自适应

本文提出了一种动态域自适应框架（DDA），该框架可以在低资源情况下实现高效的目标推理，并继承域适应所带来的有利泛化能力，同时应用领域混淆约束来提高适应性能。

Mar, 2021

面向任务无关的低秩适配器用于未见过的英语方言

通过利用专家语言知识，我们的方法 HyperLoRA 可以通过超网络实现资源高效的适应，从而提高对未知方言的泛化能力，为数十亿传统上代表性不足的英语方言使用者提供语言技术的便利访问。

Nov, 2023

基于数据增强的方言调适对 LLMs

该研究报告通过使用不同类型的语言模型并利用数据增强技术，提出了一种结合方法，旨在改善南斯拉夫南方微方言上大规模语言模型（LLMs）的通识推理能力评估，通过实验证明数据增强技术能够显著提升开源型模型类别在三个南斯拉夫方言（Chakavian、Cherkano 和 Torlak）的测试数据集上的性能，突出了数据增强的实际效用和 LLMs 在处理非标准方言方面的潜力以推进低资源和方言环境下的自然语言理解。

Apr, 2024

神经机器翻译的领域差异适应

本文介绍了『Domain Differential Adaptation（DDA）』的框架，该框架通过使用相关任务中的模型直接建模不同领域之间的差异，从而成功地应用于神经机器翻译的领域自适应中，并在多个实验设置中实现比其他替代方法更好的改进效果。

Oct, 2019

大规模语言模型政策适应在任何地方驾驶

利用 LLaDA 工具，我们通过适应新地点的交通规则，使人工驾驶员和自动驾驶车辆能够在任何地方行车。LLaDA 利用大型语言模型对当地的驾驶手册进行解释，从而实现零样本泛化能力，解决了自动驾驶中长期存在的问题，并在实际数据集上展示了适应自动驾驶车辆运动规划策略的能力。

Feb, 2024

低资源开放领域对话生成的可控且多样化的数据增强

利用大规模语言模型 (LLM) 进行以摘要为基础的对话增强 (SDA) 以提高语义多样性和控制能力，通过生成高质量和多样化的对话数据来增强开放领域对话模型的性能。

Mar, 2024

D2ADA: 动态密度感知的主动域自适应语义分割

D2ADA is a framework for active domain adaptation in semantic segmentation, proposing an approach to acquire labels of samples with high probability density in the target domain yet with low probability density in the source domain, and designing a dynamic scheduling policy to adjust labeling budgets between domain exploration and model uncertainty that outperforms existing baselines with less than 5% target domain annotations.

Feb, 2022

高效的视觉语言模型测试时间自适应

TDA 是一种训练 - free 的动态适配器，通过轻量级的键值缓存和逐步的伪标签细化，以及引入负伪标签，实现了有效和高效的测试时自适应。

Mar, 2024

LaMDA：面向对话应用的语言模型

LaMDA 是一种专门用于对话的基于 Transformer 的神经语言模型，其具有高达 137B 的参数，并使用公共对话数据和 Web 文本预训练。它具有先进的优化技术，能够解决安全性和事实基础等关键挑战，以及能够在教育和内容推荐领域发挥积极作用。

Jan, 2022