pre-training objective | BriefGPT

关键词pre-training objective

搜索结果 - 10

DocLLM: 多模态文档理解的自适应生成语言模型
研究论文通过设计 DocLLM 模型，结合文本语义和空间布局，以有效地理解企业文件的丰富语义，摆脱昂贵的图像编码器，侧重于使用边界框信息来处理不规则布局和异构内容的视觉文件，通过预训练和微调，优于当前最优模型在多个任务中的性能，并且对于先前
PDF6 months ago
URL-BERT：通过社交媒体参与训练网页表示
通过引入新的预训练目标，我们提出了一个框架来适应通用语言模型（LM）编码器以理解和表示网页的内容，并在多项任务和 Twitter 内外部基准测试中证明了该方法的有效性。
PDF8 months ago
GenPlot: 扩大图表反渲染数据的规模和多样性
本文提出 GenPlot，一个可以使用合成数据生成数十亿个绘图以用于图表解读的情境下的预训练的图表生成器。
PDFa year ago
ALIGN-MLM: 多语言预训练中的词嵌入对齐至关重要
本研究提出了一种新的预训练目标 ALIGN-MLM，该目标通过辅助损失来引导不同语言中相似的词具有相似的词嵌入，实现跨语言转移学习中的单词嵌入对齐，此方法在机器学习中的应用具有广泛的前景。
PDF2 years ago
自监督语音模型的分层比较分析
本研究使用基于规范相关性分析（CCA）的轻量级分析工具，考察了多种最近模型的中间表示，发现它们所编码的属性在不同层次上发展，变化与预训练目标的选择有关，进一步探究了这种分析在下游任务中的实用性，并发现 CCA 趋势为选择下游任务感兴趣的层提
PDF2 years ago
通过分离空间 - 时间建模学习视频问答的细粒度视觉理解
该论文提出了一种新的视频 - 语言模型：去耦合的空间 - 时间编码器，通过将图像编码器中的空间模型独立于时间进行编码，将视频编码器中的时间模型放在较低的空间但更高的时间分辨率上进行编码并提出了一个新的预训练目标来帮助视频 - 语言模型学习视
PDF2 years ago
基于因果干预的提示去偏置事件论元抽取
本文通过比较两种不同的提示策略，即基于名称的提示和基于本体的提示，揭示了本体提示方法在零样本事件论证提取中的优势，并提出了一种因果干预的去偏方法。实验表明，经过去偏处理后的基准模型不仅更为有效和鲁棒，而且在对抗攻击方面有显着的改进。
PDF2 years ago
提示性模型是否无能？
该论文研究了少样本提示模型是否也利用了表象线索，发现在 MNLI、SNLI、HANS 和 COPA 数据集上，尽管模型在表象线索实例上表现良好，但在没有表象线索的实例上的性能往往低于或仅略优于随机准确度。
PDF2 years ago
自监督学习对语音识别的受益及演讲者识别
本研究通过 Voxceleb-1 数据集进行了一系列实验来探究自监督学习在演讲者相关任务中表现良好的因素，结果表明模型的收益来源于语音预测损失、数据规模和模型大小的组合，同时自监督量化器的影响较小。我们进一步采用了集成梯度属性方法和损失函数
PDF2 years ago
EMNLPETC：在 Transformer 中编码长且结构化的输入
本文介绍了一种新的 Transformer 架构 ——Extended Transformer Construction（ETC），该架构解决了标准 Transformer 架构的两个关键挑战，即扩展输入长度和编码结构化输入，并且通过将全局
PDF4 years ago