Jun, 2024

METRIK: 使用输入遮盖的转换器进行高效测量的随机对照试验

PDF
TL;DR采用计划失踪设计的研究论文提出了一种名为 METRIK 的框架，该框架能够通过学习输入屏蔽层实现在少量先验数据的基础上计算 RCT 特定的 PMD，从而提高采样效率和填补性能，并将需要手动删除 RCT 中的指标的需求消除。
clinical randomized controlled trialsplanned missing designmeasurement efficient randomized controlled trials using transformers with input masking (metrik)sampling efficiencyimputation performance
发现论文，激发创造
  • 基于 PMI 的相关跨度掩码

    通过对点对互信息的概念提出了 PMI-Masking，该结构代替了以往不合理的随机掩码方法，实验结果表明在预训练的效率和下游任务性能上有所提高

    Oct, 2020

  • 用于层级适应的混合效应 Transformer

    本文提出了混合效应 (transformer) 模型，通过引入前缀 (prefixes)，逐级学习并建立结构化的变异因素的影响，以解决 GPT-3 等现代语言模型在面对稀疏、额外的上下文环境时性能下降的问题，实验表明本模型在领域适应性测试中表现良好。

    May, 2022

  • 经过训练的机器翻译度量指标学会适应机器翻译的参考译文

    通过对机器翻译（MT）的人类评估训练的神经度量标准进行控制实验，将未经人类评估培训的基准度量标准（Prism）与经过培训的同一度量标准（Prism+FT）进行比较。令人惊讶的是，Prism+FT 对于机器翻译参考文献的鲁棒性更强，而这在 MT 评估中是一个臭名昭著的问题。这表明度量标准训练的效果超出了改善与人类判断整体相关性的预期效果。

    Dec, 2023

  • 基于可穿戴设备的应用中的表示学习及缺失数据案例研究

    穿戴设备中的缺失数据填充问题的研究，通过比较表示学习和统计方法，发现变化频繁的信号可以使用 Transformer 模型进行更准确的填充，为解决穿戴设备中的数据缺失问题提供了启示。

    Jan, 2024

  • 利用大型语言模型自动提取随机对照试验的数值结果

    现有的大型语言模型在处理复杂结果和推理时表现欠佳，虽然巨大的语言模型可以在二分结果方面接近完全自动的元分析。

    May, 2024

  • TabMT：使用掩码变换器生成表格数据

    本文介绍了 TabMT，一种用于生成合成表格数据的新型掩码 Transformer 设计，它有效应对异构数据字段带来的独特挑战，并能够处理缺失数据。我们评估了 TabMT 在以保护隐私为重点的应用中的性能，并发现它能够生成具有优越隐私权衡的高质量数据。

    Dec, 2023

  • 揭示稳健性在评估因果推断模型中的潜力

    为了解决条件平均处理效应估计器选择的挑战，本文引入了一种新的方法，即分布鲁棒度量（DRM），该方法不仅消除了需要拟合附加模型的需求，而且在选择强健的 CATE 估计器方面表现出色。实验研究证明了 DRM 方法的效力，展示了其在识别优越估计器的同时减轻选择劣质估计器的风险的一致效果。

    Feb, 2024

  • 掩码轨迹模型：预测、表征和控制

    本文介绍了遮盖轨迹模型 (MTM) 作为顺序决策制定的一般抽象。MTM 采取轨迹，如状态动作序列，并旨在在相同轨迹的随机子集的条件下重建轨迹。通过高度随机化的遮盖模式进行训练，MTM 学习多功能网络，可以通过在推理时选择适当的遮罩来扮演不同的角色或具有不同的能力。通过在几个连续控制任务中进行广泛的实验，我们展示了相同的 MTM 网络可以匹配或优于专门针对前述能力进行训练的网络。此外，我们发现 MTM 学到的状态表示可以显着加速传统 RL 算法的学习速度。最后，在离线 RL 基准测试中，我们发现 MTM 尽管是一种通用的自监督学习方法，并且没有任何明确的 RL 组件，但它与专门的离线 RL 算法相竞争。

    May, 2023

  • 选择过去实验中的代理指标

    在大量随机实验中，通过生成决策指南，我们引入了一种新的统计框架来定义并构建适用于同质人群的最佳代理度量标准，该度量标准能够与长期度量密切跟踪，并在噪声较高的情况下进行优化问题的解决。通过运用这种方法，我们在一个工业推荐系统的大量随机实验中应用我们的方法进行实例化和评估，并构建了相对于几个基准值表现优异的代理度量标准。

    Sep, 2023

  • 修订 Transformer：摆脱被禁止的事情

    本文介绍了 Revision Transformer (RiT) 模型，该模型使用信息检索来促进轻松的模型更新，同时将大规模预训练的当前变压器语言模型与清晰结构的修订引擎的特定组合结合起来，以帮助用户交互地更新模型的知识，从而实现个性化 AI 模型。

    Oct, 2022