- 多模态结构生成：CVPR 第 2 届 MMFM 挑战技术报告
多模态结构化生成是一种将冻结的多模态基础模型的输出逻辑约束在结构化输出之前进行推理的通用框架，可用于解析和使用下游 API，该方法在 CVPR 会议主办的第二届多模态基础模型挑战中取得了第二高的得分，并第三高的整体得分，展示了该方法在未见任 - 使用预训练的 LLM 生成结构化胸部 X 射线报告的提示引导方法
用预训练的大型语言模型进行指导的方法可以生成基于解剖学和临床提示的结构化胸部 X 射线报告，以实现医疗报告的自动化生成和临床的交互性。
- 用于稳健结构预测的结构化语言生成模型
我们提出了结构化语言生成模型（SLGM），这是一种结合新的损失函数和推理方法，以更好地泛化结构化输出的混合模型。
- 及时预测结构：推理的回归
通过结构约束和组合推理，我们构建了一种基于提示的方法用于零和少样本的语言结构预测，在两个结构预测任务和五个数据集上的结果表明，强制一致性不仅构建了结构上有效的输出，而且还改善了性能。
- 以人为中心的规划
创建基于 LLMs 的规划器（LLMPlan）与能够将文本约束转化为符号表示的符号规划器（SymPlan），通过自我反思的能力以及对自然语言中模糊约束的合并，LLM 基于规划器在 40 名用户的互动评估中表现出优异的用户满意度（70.5%） - 利用不对称性进行合成训练数据生成：SynthIE 与信息抽取案例
本研究展示了大型语言模型的潜力，即使在无法直接解决 LLM 的任务中，也可以合成有用的数据。其中一项方法是通过引导 LLM 生成符合目标结构的文本，此方法已经成功应用于闭合信息提取，并通过 SynthIE 模型在微观和宏观 F1 值上超过了 - 利用任务奖励调整计算机视觉模型
采用强化学习技术将计算机视觉模型与任务奖励对齐，以解决复杂结构输出的误差问题，在多个计算机视觉任务中（对象检测，全景分割，着色，图像字幕）都显示出惊人的有效性。这种方法有望广泛用于使模型更好地与各种计算机视觉任务对齐。
- AAAI隐式训练能量模型用于结构预测
该论文讨论了现有训练目标在处理复杂结构化输出方面的局限性，并介绍了通过隐式梯度技术学习动态损失景观以提高模型在结构预测中的性能的方法。
- ACL使用预训练语言模型生成解释图：对比学习的实证研究
该研究针对预训练语言模型生成结构化输出能力进行分析，提出以节点和边为编辑操作的基本图形干扰方案，有效提升对解释图形的语义和结构精度，并将其应用于对比学习建模中。
- EMNLP结构多样采样：实现高效训练和全面评估
本研究提出了一种结构多样性的训练方法，可以改善 NLP 模型组合性的普适性问题，并发现结构多样化训练可提高样本效率和测试统计数据的多样性。
- CM3: 互联网因果蒙特卡罗多模态模型
介绍了 CM3 模型，是一种因果掩模生成模型，用于训练多模态文件的大型语料库，可生成结构化文本或图像，支持双向上下文依赖，具有接近最先进性能的能力，能够通过单个模型完成零 - shot 任务的多模态生成、文本摘要、实体链接、实体消岐等。
- 中心平缓化：针对具有结构化输出网络的认证健壮性
本研究将证明对抗鲁棒性的研究扩展到具有更一般和结构化输出的问题，并将输出空间建模为度量空间，利用距离 / 相似函数等技术应用于图像分割，物体检测和生成模型等机器学习问题。本研究中的中心平滑程序使用随机平滑技术产生确保在输入的任何有界范数对抗 - ICML组合微调：冻结预训练去噪自编码器以提高泛化性能
探讨结构化输出的预测问题，研究在输出有效性限制约束情境下的预测，推荐使用先进行预训练再进行 fine-tuning 的方法，可以通过控制预测器的复杂性以提高其在未知数据上的表现。
- CVPR利用森林集成从部分标签中学习结构化输出
我们提出了一种基于 AdaBoost.MRF 的有效算法，用于在具有普遍结构的学习结构化输出时。该算法可以处理部分标签，并具有完全收敛的保证，适用于多层次建模的室内视频监控场景。
- ICML来自部分注释的结构化学习
本研究提出一种处理结构化输出的大规模公式，该公式基于部分注释数据进行学习，并通过 concave-convex procedure (CCCP) 进行高效求解以达到解决实际应用的目的。我们将该方法应用于可变数量可分对象的具有挑战性的跟踪问题