- ML-SUPERB 2.0：跨模型约束、语言和数据集进行多语言语音模型基准测试
ML-SUPERB~2.0 是一个新的基准系统，用于评估预训练的自监督学习和监督语音模型在下游模型、微调设置和高效模型适应方法方面的性能，它发现了 ML-SUPERB 设置的性能改进，但性能取决于下游模型设计，并且在语言和数据集之间存在大的 - ICML从大型基础模型传递知识到小型下游模型
在下游模型中以更低的成本运行的小型任务特定的下游模型中如何将相关知识从越来越大的基础模型转化过来。通过使用预训练权重作为初始化的标准迁移学习仅转移有限的信息，并且通常会导致庞大的预训练架构。为了解决这些缺点，我们引入自适应特征传输（AFT） - 利用从摘要模型蒸馏的知识提升长文本理解能力
通过使用抽象化摘要生成模型的主旨检测能力，我们提出了 Gist Detector 来加强下游模型对长文本的理解能力，并评估了该方法在长文档分类、远程监督的开放领域问答以及非平行文本风格转换等三个不同任务上的性能表现，结果显示我们的方法在所有 - 坚如磐石：开源基础模型能否用于为下游任务创建对抗性例子？
基于开源的基础模型 CLIP 的先前训练，我们揭示了其对下游模型的共享对抗性漏洞，并提出了一种名为 Patch Representation Misalignment（PRM）的简单而有效的对抗性攻击策略，该方法可以同时欺骗 4 个常见视觉 - 多视角视频学习：利用弱标注实现帧级感知
使用弱标签在多视角视频上训练基于视频的动作识别模型，并使用潜在嵌入来提高准确性。
- 针对对抗样本安全地微调预训练编码器
通过采用遗传进化培育的对抗微调方法（Gen-AF），本文提出了一种两阶段的对抗微调方法，旨在增强下游模型的鲁棒性，实验证明该方法在十种自监督训练方法和六个数据集上对最先进的对抗示例具有高测试准确性和鲁棒测试准确性。
- 基于图像的时间序列数据表示：脑电图伪迹检测的比较分析
提出了利用 EEG 数据作为时序数据的基于图像的数据表示方法的测试平台，并对六种常用的表示方法进行了十一种流行的深度学习架构的评估。发现在表示方法的选择中，存在着偏差与方差之间的权衡，然而某些表示方法在突出增加数据的信噪比方面更加有效。通过 - 基于生成语言建模的可微检索增强方法用于电子商务查询意图分类
检索增强通过知识检索器和外部语料库提高下游模型的性能，成功应用于许多自然语言处理（NLP）任务，然而，现有的方法由于两个部分之间的不可微性而分别或异步训练检索器和下游模型，通常导致性能下降，与端到端联合训练相比。
- 置信度级联推迟何时足够？
通过理论分析和实验证明在级联模型中，基于置信度的预测推迟机制可能会在下游模型专业性、标签噪声和训练集与测试集分布偏移等情况下失效，进而提出后处理推迟机制并展示了其在这些情况下能够显著提升性能。
- 表示可靠性及其对下游任务的影响
提出一种基于邻域一致性的集成方法，用于估计自监督预训练模型的表征可靠性，实验结果表明该方法能够高精度地预测表征可靠性。
- ACL预训练语言模型的即插即用知识注入
本研究提出了一种新的知识注入方法 -- 插拔式知识注入，并探究了一种新的注入方法 ——map-tuning，并通过三种不同的 NLP 任务验证了 map-tuning 方法的有效性，再次表明了插拔式知识注入的优越性。
- 基于词汇表限制的下游任务导向神经分词器优化作为后处理
本文提出了一种优化已训练后的下游模型性能的分词方法，该方法通过限制词汇量并训练一个生成相应分词结果的分词器，达到更低的下游模型损失值，比现有方法在各项任务中都表现更佳。其中提出的基于 BiLSTM 的分词器能够比现有非神经网络分词方法更好地 - ICLR自然语言处理中的人类辅助公正分类
本研究提出了使用无监督风格转移和 GPT-3 的零 - shot 技术发现具有表达性和直观性的个体公平规范的新方法，以解决文本分类器中公平性问题。我们使用众包研究验证了所生成的具有人类直觉的公平排除敏感属性的语句对，并展示了有限数量的人类反 - ICML自监督学习抵御模型抽取的难度
探索了针对自我监督学习 (SSL) 模型的模型窃取攻击，使用这些攻击可以将受害者模型的表示进行窃取并通过训练获得高精度的下游模型。同时，既有的防御方法对于自我监督学习的特殊性不是有效的保护措施。
- EMNLP预训练语言模型中的潜在命名偏差
本文针对预训练语言模型 (LMs) 可能在下游模型中保留其训练语料库中的偏差进行了研究，重点关注给定名称（例如 Donald）表示中出现的问题，可能会因不同的语料库与特定实体相关，如后续标记预测（例如 Trump），通过阅读理解探针演示了名 - 利用神经场景图生成器学习视觉关系先验用于图像文本匹配和图像字幕生成
通过结合神经场景图生成器和最先进的模型，我们的实验表明用于促进语言到视觉关系的关系特征能够显著改进标准的 Flickr30K 和 MSCOCO 基准测试，在端到端的视觉和语言应用中捕获视觉关系。