Jan, 2024

使用门控适配器进行有效的可控偏差缓解的分类和检索

PDF
TL;DR这篇论文介绍了一种名为 Controllable Gate Adapter（ConGater）的新型模块化门控机制，其具有可调节的灵敏度参数，可以在推理时从有偏态的模型逐渐过渡到完全去偏态的版本，该机制可以在实践中调节偏倚减少的程度以实现性能和公平性之间的权衡。
发现论文，激发创造
  • 透过 AdapterFusion 实现参数高效，模块化的偏置缓解

    本研究提出了一种名为 DAM 的去偏见方法，通过 Adapter 模块的集成，实现去偏见的独立功能，该方法在三个分类任务中，具有效性、增加了公平性、同时保持了核心模型的效能。

    Feb, 2023

  • 推理时音频场景分类的领域信息控制

    本文在声学场景分类任务中使用可控门适配器 ConGater，以使模型对设备领域漂移具有选定的适应性并体现出最大的泛化能力。

    Jun, 2023

  • 可持续模块化去偏语言模型

    本文通过提出使用专用去偏置适配器的可持续模块化去偏置方法 ADELE，解决当前使用预训练语言模型存在的去偏置方法计算代价高和可能导致遗忘的问题，在性别去偏置任务上展示了 ADELE 的有效性，并证明其模块化特性使其在大规模下游训练后仍能保持公平，并成功将其运用到六种目标语种。

    Sep, 2021

  • 预训练语言模型去偏方法参数效率的实证分析

    本文研究如何使用计算资源相对较小的方法，结合反事实数据增强技术（CDA）来减少预先训练的语言模型中的偏见，发现参数有效的方法能够有效地减少性别偏见，但对于种族和宗教偏见效果较差，且与全细调的性能相当。

    Jun, 2023

  • 贝叶斯可控语言模型的训练和推理之间的桥梁

    本文提出一种控制语言生成的技术 Gemini Discriminator，有效解决了 Bayesian Controllable Language Models 中的训练和推断不匹配的问题，并在情感和主题控制任务中取得了最新的最优结果。

    Jun, 2022

  • 通过对比信息估计实现合理结果的可控保证

    限制特征与受保护属性之间的互信息可控制任何下游分类器的公平性。本文基于对比信息估计方法演示了一种实现公平性控制的有效方法，比依赖于基于复杂生成模型的变分界限方法表现更好。在 UCI 成人和遗产健康数据集上测试时，我们的方法提供了更多信息性的表示，并提供了关于任何下游算法平等性的强有力的理论保证。

    Jan, 2021

  • 控制偏见暴露以实现公平和可解释的预测

    本文提出了一种公平去偏算法，通过调整预测模型的信念，尽可能使用敏感信息来进行预测，并在必要性最小化的同时承受一定的惩罚，以达到去偏和任务性能之间的理想平衡，并生成经过去偏的证明。

    Oct, 2022

  • 模型适应的去偏算法

    提出了一种用于检测和减轻语言模型中性别偏见的新方法，通过因果分析确定了问题模型组件，发现中上部前馈层最容易传递偏见，根据分析结果通过线性投影来改进模型，该方法（DAMA）显著减少了偏见，并保持了模型在下游任务上的性能。

    Oct, 2023

  • 使用概念辅助的去偏置化上下文嵌入

    使用 conceptors 方法去除 BERT 和 GPT 中上下文词嵌入的偏见子空间，提出用后处理和新的架构 CI-BERT 两种实现方法，实验证明 CI-BERT 虽然可以优于后处理版本在消除偏见方面的性能，但它降低了语言模型的准确性。

    Nov, 2022

  • 基于转录器的流式语音识别中的自适应上下文偏置

    提出了一个基于上下文感知的变形器转录方法的自适应上下文偏置方法，通过使用有偏的编码器和预测器嵌入来执行流媒体预测，动态地开关偏差列表，以适应个性化和常见情况，实验证明相对于基线，它可以在常见情况下减少 WER 和 CER 达到 6.7％和 20.7％，在个性化情况下对性能影响极小，同时保持快速的推理管道。

    Jun, 2023