pretrained representations | BriefGPT

关键词pretrained representations

搜索结果 - 10

面向自然语言处理的预训练表征的高效主动学习
通过在主动学习循环中使用预训练的大型语言模型的表示，然后在获得所需标记数据后，对这些数据进行微调，从而以较低的计算成本实现与将完全微调的模型相似的性能。
PDF4 months ago
理解使用辅助损失预训练的表征对实体代理规划
预先训练表示、具身策略学习、自我监督预训练、探索轨迹和模仿学习是本研究的关键词，通过比较这些方法在建立强大规划表示方面的效果，发现模仿学习在此方面表现最佳。
PDF7 months ago
通过学习速度感知抽样使自监督学习对于偶发相关性具有鲁棒性
我们研究了自监督学习 (Self-supervised learning) 在存在假相关性 (spurious correlations) 的情况下，说明了尽管存在其他重要的预测特征，通过捕捉与敏感属性相关的引人注目的特征子集，可以最小化自
PDF7 months ago
预先训练的图像表示中伪特征的鉴别和分离
本论文旨在研究预训练表示中的错误相关性如何影响神经网络的预测性能，探索除去有关错误特征的方法，提出了线性自编码器训练方法来分离表示，并提出了两种有效的错特征去除方法，应用于编码并显著提高了最差组准确率。
PDFa year ago
ICCV基于难度感知动态课程学习的自监督学习改进：以数字病理学为例
提出了一种基于课程学习的动态难度自适应自监督学习方法，通过增加难度来改进预训练表示，并在组织学图像分类任务中验证了其有效性。
PDF3 years ago
ICLR预训练表示对强化学习智能体的 OOD 泛化的作用
通过训练 240 个表示和 1 万多个强化学习策略，评估先前训练的 VAE 表示的不同属性对前向代理的 OOD 泛化的影响，发现有些代理在现实分布变化的情况下仍然表现得非常稳健，而在简单的预测任务中的泛化表现可以可靠地预测代理在各种 OOD
PDF3 years ago
探索图像 - 语言变换器的动词理解
本文研究多模态图像语言变换器的预训练表示质量，研究表明在需要谓语理解的情况下这些模型的表现不佳，通过图像 - 语句对数据集评估模型性能，分类词汇类型并找到特别具有挑战性的词汇类型。
PDF3 years ago
自监督预训练提升自监督预训练效果
本文研究自监督预训练的方法，提出了一种名为 HPT 的 Hierarchical PreTraining 方法，通过在现有预训练模型的基础上初始化预训练过程，加快了模型的收敛时间并提高了准确性，同时还增强了自监督预训练对图像增强策略和预训练
PDF3 years ago
将过去和未来之间的边缘切断：用于事件时序排序的神经架构
本文提出了一种神经网络架构和一组训练方法，用于通过预测时间关系来排序事件。我们的模型在 MATRES 数据集上实现了新的最先进结果，方法包括预训练表示方法、多任务学习和自我训练技术。
PDF4 years ago
具有最小描述长度的信息论探测
本文提出了一种信息论探测方法 —— 最小描述长度（MDL）探测来评估预训练表示编码语言属性的效果，该方法不仅能考虑到探针模型的大小，还能评估实现高质量预测所需的数据量。
PDF4 years ago