Feb, 2023

使用点对点 V - 信息对上下文选定进行的意图检测的有选择性数据增强

PDF
TL;DR这项研究提出了一种基于语言模型和点间 V-information 的方法，通过 in-context 合成新的对话数据并过滤无用数据，能够在少量训练数据下，显著提升意图检测性能。
in-context data augmentationintent detectionpre-trained language modelspointwise v-informationfew-shot settings
发现论文，激发创造
  • 点对点度量上下文中的可用信息 V-

    通过将最近提出的硬度度量点点式 V - 可用信息（PVI）适应为上下文版本（上下文 PVI），我们评估了上下文 PVI 的可靠性，发现它与原始 PVI 具有类似的特征。此外，我们展示了如何利用上下文 PVI 来识别具有挑战性的实例，突显了上下文 PVI 的潜力并提供了对应于上下文学习能力的新见解。

    Oct, 2023

  • 无图像的自然语言处理任务的视觉增强预训练语言模型

    本文提出了一种新的视觉增强微调方法，名为 VAWI, 该方法能够将视觉语义注入到不同 PLMs 或自然语言处理任务中，通过使用视觉饥饿字词的固定 CLIP 文本编码器来产生视觉增强表示，引入了视觉语义，实验结果表明该方法能够改善 BERT、RoBERTa、BART 和 T5 的性能，并显著优于其他竞争基线。

    Dec, 2022

  • 虚拟数据增强：一种用于微调预训练模型的稳健通用框架

    该论文提出了一种名为 Virtual Data Augmentation（VDA）的数据增强技术，通过基于原始令牌嵌入构建混合多项式来增加语义相关且具有充分多样性的虚拟数据嵌入，其中掩码语言模型保证了语义相关性，高斯噪声提供增强的多样性，并提出了一种规则化训练策略以平衡两个方面，大量实验证明该方法能提高 pre-trained language models 的鲁棒性和减轻对对抗攻击的表现下降。

    Sep, 2021

  • 为指导调整的大型语言模型添加虚拟提示注入

    我们提出了虚拟提示注入（VPI）技术，用于调整指令的大型语言模型（LLM）。VPI 允许攻击者指定虚拟提示，在特定触发场景下引导模型行为，而无需显式地注入模型输入。我们通过污染模型的指令调整数据，演示了 VPI 的风险，并建议采用数据过滤作为一种有效的防御手段。

    Jul, 2023

  • 使用现成大型语言模型进行意图分类的数据增强

    本研究提出了一种基于提示的方法，使用诸如 GPT-3 等预训练语言模型来生成带标签的意图分类的训练数据，与需要对数据生成进行任务特定的 LM 微调的方法相比，该方法不需要超参数调整，即使在训练数据非常缺乏的情况下也适用，并且评估结果表明，当考虑到的意图彼此足够不同时，GPT 生成的数据可以显著提高意图分类器的性能；而在半导体上的那些任务中，生成的数据的效果较差，原因是 GPT 经常生成错误的语句，而不是所需的语句。

    Apr, 2022

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • 基于半监督深层聚类的文本意图挖掘管道

    使用 VIM，我们基于无监督和半监督集成流程、深层语言模型引导的并行 k - 近邻图建模法及社区探测技术，探测客户服务对话文本中的目的和主题，支持快速发掘和组织有关用户意图，提高数据分析师的工作效率，进而减少在新领域中构建和部署智能虚拟助手所需的时间和成本。

    Feb, 2022

  • iVPT：通过跨层动态连接改进视觉提示调整中的任务相关信息共享

    最近的进展显示出了将预训练的视觉转换器应用到各种下游任务中的视觉提示调整（VPT）的巨大潜力。本文提出了一种创新的 VPT 方法，即 iVPT，它通过从相邻层的输入提示令牌中引入跨层动态连接（CDC），实现了任务相关信息的有效共享，并采用动态聚合（DA）模块促进了层间信息的选择性共享。基于这些基础，iVPT 引入了一种关注强化（AR）机制，通过自动识别显著的图像令牌，并以增加的方式与提示令牌进一步增强。对 24 个图像分类和语义分割基准的大量实验证明了所提出的 iVPT 相对于现有最先进方法的优势。

    Apr, 2024

  • 通过提示进行弱监督的对话理解数据增强

    本论文探讨了在缺少数据资源的情况下，利用预先训练好的语言模型进行对话理解中的数据增强的问题，并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明，在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集，可以达到或超过现有的最佳性能。

    Oct, 2022

  • 大规模语言和多模态模型下的变分信息追求用于可解释预测

    通过使用 Foundational Models（FMs），我们扩展了 Variational Information Pursuit（V-IP）框架，以应对数据样本密集概念标注的限制，并显示出 FM+V-IP 与 LLM 生成的概念可以实现比使用人工注释概念的 V-IP 方法更好的测试性能，同时使用较少数量的概念 / 查询来达到与其他可解释性设计框架相竞争的测试性能。

    Aug, 2023