Apr, 2024

从数据洪流到数据筛选：高效文本人物搜索的过滤 - 增加权重逻辑

PDF
TL;DR通过引入过滤算法和加权低秩适应策略（WoRA learning strategy）来识别构建数据集中的关键数据子集并进行轻量级微调，我们在基于文本的人员搜索任务中实现了高效的训练和检索性能。
text-based person searchdata generationprivacy preservationmanual annotationwora learning strategy
发现论文，激发创造
  • 使用对比预训练和对抗过滤的强健任务导向对话生成

    本研究探讨了数据人工制品对机器学习模型泛化能力所产生的影响，提出一种基于对比学习的框架，试图鼓励深度学习模型学习普适规律并忽略数据人工制品。研究表明该方法具有很好的实验效果。

    May, 2022

  • 基于 Wav2vec2 的假音频检测的低秩适应方法

    文章介绍了如何使用低秩适应（LoRA）方法在不显著劣化性能的情况下，有效减少预训练语音模型的微调时间和内存占用

    Jun, 2023

  • 原型引导变换器的联邦类增量学习

    PloRA 是一种简单而有效的方法，在低通信成本下解决了灾难性遗忘和数据异质性问题，在原型学习和精炼模型方面的优化使其在各种场景和程度的数据异质性中表现出强大的鲁棒性和优越性。

    Jan, 2024

  • WADER 参加 SemEval-2023 任务 9：一种弱标注框架用于文本回归任务中的数据增强

    本文提出一种名为 WADER 的基于弱标签的数据增强策略，旨在解决文本回归任务中的数据不平衡和数据稀缺问题，还分析了在多语言语境下优化数据增强的采样技术，结果表明 WADER 的表现优于基准模型。

    Mar, 2023

  • CoLoR-Filter：有条件的丢失减少过滤器用于目标语言模型预训练

    使用 CoLoR-Filter 方法和经验贝叶斯启发式方法选择优质数据，以提高语言模型在下游任务中的性能。

    Jun, 2024

  • 面向信息检索的基于内容的弱监督再排序

    论文研究了神经排序中标记相关性判定数量巨大的问题，并提出使用弱监督来源训练排名器，然后使用过滤技术排除域外样本，实现了有效的性能改进。

    Jul, 2017

  • LoRA: 大型语言模型的低秩适应

    本文提出了一种低秩适应方法（Low-Rank Adaptation，简称 LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和 GPU 内存占用过高的问题。

    Jun, 2021

  • MoRA: 参数高效微调的高阶更新

    为了解决使用低秩更新机制限制了大型语言模型学习和记忆新知识的问题，本文提出了一种名为 MoRA 的新方法，通过引入相应的非参数操作来降低输入维度并增加输出维度，从而实现了高秩更新，同时保持了可训练参数的数量，并在五个任务中对该方法进行了全面评估，结果显示我们的方法在占用内存的任务上表现优于 LoRA，并在其他任务上达到了可比较的性能。

    May, 2024

  • 使用网络数据，仅限于网络数据超越精选语料库的 Falcon LLM 的 RefinedWeb 数据集

    本文表明，即使仅使用经过过滤和去重的网络数据，也可以训练出性能良好的大型语言模型，其训练数据量可以达到万亿级别，不需要过多地依赖于高质量的非网络数据的训练数据集。

    Jun, 2023

  • 解码低秩适配器中的全球协同效应

    我们介绍了 HeteroLoRA，这是一种轻量级的搜索算法，通过利用零成本代理在模型中分配有限的 LoRA 可训练参数，以提高微调性能，并在更具挑战性的搜索空间中展示了 HeteroLoRA 的有效性。

    Jun, 2024