Apr, 2024

基于时差异的异构变换的纵向目标最小化损失估计

PDF
TL;DR我们提出了深度纵向有针对性的最小损失估计（Deep LTMLE）的新方法，用于估计纵向问题环境下动态治疗策略下结果的反事实均值。我们的方法利用了用时差学习训练的具有异质类型嵌入的 Transformer 架构。在使用 Transformer 获得初始估计后，我们根据有针对性最小损失似然估计（TMLE）框架进行统计偏差校正。此外，我们的方法还通过提供基于渐近统计理论的 95% 置信区间来促进统计推断。模拟结果证明了我们的方法在复杂的长时程情景中相对于现有方法的卓越性能。在小样本、短时程的情况下，它仍然有效，与渐近有效估计器的性能相匹配。为了演示我们方法的实际应用，我们将其应用于估计在真实世界心血管流行病学队列研究中标准与强化血压管理策略的反事实均值结果。
发现论文，激发创造
  • 用因果 Transformer 估计反事实结果

    本文提出了一种基于 Transformer 的因果模型，通过特定设计的模型和训练方法，能够准确地对复杂、长期相关和混淆因素进行因果推理并估算出时间序列的反事实结果。

    Apr, 2022

  • 一种基于 Transformer 的多变量时间序列框架：以剩余使用寿命预测为例

    提出了一种基于编码器 - Transformer 结构的多元时间序列预测框架，用于预测系统剩余可用寿命，与其他 13 种当前最先进模型相比，其性能提升了平均 137.65%。

    Aug, 2023

  • 层次光变换器集成用于多模态轨迹预测

    我们提出了一种名为 HLT-Ens 的新方法，利用一种新的分层损失函数，通过组合的全连接层来捕捉多模态分布，有效地训练 Transformer 架构的集合，在轨迹预测技术上取得了最先进的性能水平，为改进轨迹预测技术提供了有希望的途径。

    Mar, 2024

  • 用于估计异质治疗效果的联邦学习

    使用机器学习方法估计异质治疗效应（HTE）可以在各个领域（如医疗保健、政策制定、教育等）中实现大规模个性化决策。本文提出了一种通过联邦学习在机构之间进行协作学习 HTE 估计器的新框架，实现了在各个机构之间同时学习共同特征表示和不同干预措施下的特定预测函数。我们的框架还通过多任务学习利用表格转换器将多个输入数据映射为特征表示来进行结果预测，并提出了一种适用于异质输入特征空间的个性化转换器的联邦训练方法。实验结果表明了我们的方法的有效性。

    Feb, 2024

  • 长短时 Masking Transformer: 一种简单而有效的文档级神经机器翻译基线模型

    本研究探索了基于上下文感知框架的神经机器翻译系统，研究发现标准 Transformer 自回归属性可以同时带来一致性和误差积累的优势和劣势，因此提出了一种简单的基于长短时记忆的自注意力机制用于捕捉长距离依赖并减少误差传播，在两个公开数据集上验证可以获得较高 BLEU 得分并捕捉语篇现象。

    Sep, 2020

  • TimeCMA: 基于 LLM 的时间序列预测协同模态对齐

    基于大规模语言模型和交叉模态对齐，提出了 TimeCMA 框架，用于多变量时间序列预测，实验证明其准确性和高效性。

    Jun, 2024

  • 基于 Transformer 的神经代理模型用于可变尺寸地图下的链路级路径损耗预测

    使用基于 Transformer 的神经网络架构，从不同维度的地图和稀疏测量中预测链路级属性，而不需要离散化，这种方法可以高效地学习稀疏训练数据中的主要路径损耗，并在新的地图上具有良好的泛化能力。

    Oct, 2023

  • 使用噪声对比估计学习神经跨维度随机场语言模型

    本文提出了几种技术来提高神经随机场语言模型 (TRF LMs) 的训练效率和性能。这些技术包括参数估计和模型构建等，采用这些技术可以成功地、高效地训练神经 TRF LMs，并且在强 LSTM LM 基线的基础上将 WER 相对降低了 4.7% 左右。

    Oct, 2017

  • 用于嘈杂图像分类的处理学习变压器

    本研究提出了一种基于因果可变推理的 Transformer 架构 ——Treatment Learning Transformer（TLT），用于图像分类任务中噪声数据的处理，能够较好地处理来自于各种噪声源的图像，从而提高预测准确性。

    Mar, 2022

  • HiMTM: 面向长期预测的分层多尺度遮蔽时间序列建模

    通过使用多尺度层次掩蔽时间序列建模方法，HiMTM 在提升多尺度特征提取能力的同时，通过实验证明其在时间序列预测准确性上具有明显优势，并在天然气需求预测领域得到了有效应用。

    Jan, 2024