ICLRJun, 2019

揭开跨类解耦的神秘面纱

PDF
TL;DR介绍了一种名称为 LORD 的基于潜在空间优化的表示分离方法，使用了不对称噪声正则化方法提高了分离性能，实验表明该方法的性能优于常见的对抗训练和非对抗训练方法，并通过聚类扩展该方法，取得了关于领域翻译的有希望的结果。
artificial intelligencedisentanglementlatent optimizationasymmetric noise regularizationsupervision
发现论文，激发创造
  • 避免以下主题：降低文本分类中的潜在混杂因素影响

    本文提出了一种使用对抗性训练的方法，通过同时预测文本的标签和混淆因素，逐步地学习对话题无关的文本表示，以提高神经网络模型在母语识别任务中的泛化性能。

    Sep, 2019

  • 严格零样本分层分类的简单有效框架

    提出一种用于处理层级数据集的指示性长尾预测任务的方法，并结合蕴含 - 矛盾预测来解决大语言模型在零样本设置下容易失败的局限性。

    May, 2023

  • 将 LLM 的分解能力提取为简洁的语言模型

    通过离线强化学习将大型语言模型（LLM）的分解能力融入紧凑模型，我们利用 LLM 能力的进步提供反馈并生成专门的任务特定数据集来训练紧凑模型，该研究的主要贡献是开发了一个 AI 生成的数据集和建立了基线，强调了紧凑模型在复制复杂问题解决能力方面的潜力。

    Feb, 2024

  • 在大语言模型时代中缓解文本分类中的边界不确定性和固有偏差

    这项研究发现大型语言模型在文本分类中受到选择数量和排列的变化的影响，为解决这个问题，提出了一种基于两阶段分类框架的方法，该方法通过减少决策空间和进行逐对比较来减轻边界的模糊性和内在偏差。通过对四个数据集的广泛实验证实了该框架的有效性，并使不同的大型语言模型取得了一致的改进。

    Jun, 2024

  • 利用大型语言模型的知识蒸馏进行网络内容过滤

    本研究利用大型语言模型进行 URL 分类，并通过知识蒸馏技术生成了精简版学生模型，使得模型在以 URL 为基础的网页分类任务中准确度提高了 9%，比此前状态 - of-the-art 的方法表现更佳，精简版学生模型使得模型可用于大规模 URL 的内联扫描，并且所需的手工标记训练数据量较之前的方法减少了 3 个数量级。

    May, 2023

  • 无监督不可迁移文本分类

    本文提出了一种新的针对文本分类任务的无监督非可转移学习方法，并介绍了一个秘密密钥组件来恢复访问目标域的能力。经过广泛的实验，证明了我们的方法的有效性。

    Oct, 2022

  • 用于机器人物体消歧的 LLM

    该研究揭示了预训练大型语言模型在机器人领域中有效消除对象歧义和导航决策挑战方面的能力，特别是在与部分可观测马尔可夫决策过程（POMDPs）进行模拟的复杂决策挑战中。通过将大型语言模型整合到桌面环境消除歧义任务中，我们采用了少样本提示工程系统来提高模型的询问能力，使其能够成功生成和导航到正确的对象。

    Jan, 2024

  • 标签监督的 LLaMA 微调

    本文介绍了一种基于标签监督的适应大语言模型（LLMs）的方法，通过从 LLMs 提取潜在表示并将其投影到标签空间计算交叉熵损失来微调模型。在各种下游任务中，该方法显著优于比其十倍规模的 LLMs 以及其他强大的基线模型如 BERT-Large 和 RoBERTa-Large。此外，通过从解码器中移除因果掩码，LS-unLLaMA 在命名实体识别（NER）中实现了最先进的性能。

    Oct, 2023

  • 监督微调作为逆强化学习

    我们通过建立一个顺序决策框架，利用示范数据集来对齐大型语言模型（LLMs），并介绍了各种减小 LLM 对齐任务中差异的方法，分析了这些方法的覆盖率和寻求主模式的行为，以及传统监督微调方法的优势和劣势。

    Mar, 2024

  • 通过合成文本生成实现差分隐私知识蒸馏

    利用差分隐私的知识蒸馏算法，通过利用合成数据和教师模型的输出分布，成功地在压缩自回归型大型语言模型的同时保护训练数据的隐私。

    Mar, 2024