Skim-Attention: 通过文档布局学习集中注意力

EMNLPSep, 2021

Skim-Attention: 通过文档布局学习集中注意力

Skim-Attention: Learning to Focus via Document Layout

Laura Nguyen, Thomas Scialom, Jacopo Staiano, Benjamin Piwowarski

TL;DR本文提出了 “Skim-Attention” 的新注意力机制，只关注文档中单词的二维位置，实现了更高效的计算和更低的困惑度，可与远程 Transformer 结合处理长文档，作为面向任何预训练语言模型的掩码使用，以提高它们的性能同时限制注意力，同时展示了文档结构表征的出现。

Abstract

transformer-based pre-training techniques of text and layout have proven effective in a number of document understanding tasks. Despite this success, multimodal pre-training models suffer from very high computational and memory costs. Motivated by human reading strategies, this paper p

transformer-based pre-training skim-attention document structure computationally efficient pre-trained language model

发现论文，激发创造

架起桥梁：从英文 PLM 到马来西亚英文的迁移学习

通过使用经过专门定制的预训练语言模型 MENmBERT 和 MENBERT，在马来西亚英语文本中实现了命名实体识别 (NER) 和关系抽取 (RE) 任务方面的显著改进，这证明在低资源环境中，预训练模型在特定语言和地理焦点文本上的表现有望提高。

Jul, 2024

洗发水前置护理新视角

Shampoo 是一种二阶优化算法，使用 Kronecker 积预处理器，它近来引起了机器学习界的广泛关注。我们提供了 Shampoo 的最佳 Kronecker 积近似与 Shampoo 使用的近似之间的明确而新颖的联系。我们通过各种数据集和架构的实证研究，证明这种近似非常接近最佳的 Kronecker 积近似。此外，我们还通过实证研究探讨了在 Hessian 近似视角下使用各种实用技巧（如使用批量梯度和经验 Fisher）来提高 Shampoo 的计算效率对 Hessian 近似质量的影响。

Jun, 2024

PeFAD：一种参数效率高的时序异常检测联邦框架

利用参数高效联合异常检测（PeFAD）框架，通过利用预训练语言模型（PLM）作为客户端本地模型的主体，减少通信开销和本地模型适应成本，同时采用一种新颖的异常驱动蒙版选择策略以缓解训练过程中忽略异常值的影响。在共享的隐私保护数据集上还提出了知识蒸馏操作，以解决客户端间的数据异质性问题，实验证明 PeFAD 优于现有最先进基准方法最多达 28.74%。

Jun, 2024

NuwaTS: 修复每一个不完整时间序列

利用 NuwaTS 框架将预训练语言模型（PLM）重新用于普通时间序列插补任务，通过设定特定嵌入来捕捉不完整时间序列的信息，提出对比学习方法以增强模型对不同遗漏模式的适应性，训练得到一对多的插补模型，并证明其在各种数据集和遗漏模式上胜过现有的特定领域模型。

May, 2024

文本分类器的对抗攻击的约束执行奖励

通过强化学习算法训练的编码器 - 解码器重述模型生成多样化的对抗性示例，在两个文本分类数据集上实验证明该模型的成功率高于原始的重述模型，并且总体上比其他竞争性攻击更有效，同时讨论了关键设计选择如何影响生成的示例以及该方法的优势和弱点。

May, 2024

无监督领域转移下的最优预测区间聚合

我们提出了一种在无监督域偏移下聚合预测区间的方法，该方法能够获得宽度较小且覆盖目标域的预测区间，其计算效率高并易于实现。

May, 2024

解放已见类别：通过锚点生成和分类重构提升少样本和零样本文本分类

我们提出了一个简单而有效的策略，通过利用大型预训练语言模型生成伪新样本并选择最具代表性的样本作为类别锚点，将多类分类任务转换为二元分类任务，并使用查询 - 锚点对的相似性进行预测，从而在少样本和零样本任务中充分利用有限的监督信号，实现模型从已知类别的限制中解放，能够在没有使用任何已知类别样本的情况下准确预测未知类别。

May, 2024

金融情感分析的迁移学习和 Transformer 架构

金融情感分析中的预训练语言模型和迁移学习原则可有效解决特殊的金融领域情感分析困难，同时考虑到像 COVID 这样疫情的因素，对两组不同数据进行情感分析，并使用较小的训练集对模型进行微调。

Apr, 2024

迁移学习增强的单选决策用于多选题答题

该研究论文以多选机器阅读理解为主题，使用预训练语言模型作为编码器，并通过微调来分享和传递知识。通过训练二元分类，将多选问题转换为单选问题，并选择置信度最高的选项作为最终答案。通过从其他 MRC 任务转移知识，提出的方法摆脱了多选框架，并可以利用其他任务的资源。在 RACE 和 DREAM 数据集上评估基于 ALBERT-xxlarge 模型构建的模型，实验结果表明该模型在多选方法上表现更好，并且通过从其他类型 MRC 任务转移知识，该模型在单个和集合设置中都取得了最先进的结果。

Apr, 2024

实用高效的盲运动去模糊技术：通过模糊像素离散化

通过对图像残差错误进行分类和离散化，我们提出了一种高效的去模糊模型，它在现实基准测试中表现出与最先进的方法相当的性能，同时计算效率高达 10 倍。

Apr, 2024