Chameleon 是一种早期融合的基于令牌的混合模态模型系列，能够理解和生成任意顺序的图像和文本。它在图像问答、图像描述、文本生成、图像生成和长格式混合模态生成等任务上展现了广泛和通用的能力，包括在图像描述任务中达到了最先进的性能水平，同时在纯文本任务中超越了 Llama-2，与 Mixtral 8x7B 和 Gemini-Pro 等模型竞争，并且能够生成非平凡的图像，所有这些能力都集成在一个模型中。它还在全新的长格式混合模态生成评估中，通过人类评判匹配或超越了更大模型，包括 Gemini Pro 和 GPT-4V，该评估中的提示或输出包含混合的图像和文本序列。Chameleon 在统一建模完整多模态文档方面迈出了重要的一步。

May, 2024

本文提出了一种方法，通过学习语义空间中可解释和有意义的路径来减轻深度学习区分模型中的相关性，以提高公平性。通过编辑受保护特征（如年龄和肤色），将这些路径应用于增强图像，从而改善给定数据集的公平性。

Nov, 2023

通过使用生成模型以标签有效的方式从数据中自动学习逼真的增强，我们展示了这种方法如何通过改进领域通用性来提高医学成像数据的鲁棒性和算法公平性。

Apr, 2023

本文研究了使用图像中的不可察觉攻击来改变多模态基础模型的标题输出，揭示了恶意内容提供者如何利用此方式伤害诚实用户，并强调了部署的多模态基础模型应采取对抗性攻击的对策。

Aug, 2023

通过协调对抗训练和重构生成来提高数据覆盖率，并扩展了一个允许显式控制模型应该包含的少数群体的方法。

Apr, 2020

该研究提出了一种基于转移学习的公平生成模型方法，利用大规模含偏见、小规模不含偏见的数据集作为训练数据，在不同的模型中进行知识迁移，实现生成样本的高质量和公正性。

Dec, 2022

本文提出使用数据增强方法减少自然语言处理中的性别偏见，并通过削减数据集中的例子提高模型的公平性，实验证明该方法在三个文本分类数据集上所实现的公平性优于数据增强方法。

Nov, 2022

本文提出了 Chameleon 框架，该框架通过在 Large language models（LLMs）上加上合成程序的方式来提高 LLMs 的能力，特别是在处理需要精确数学推理、使用外部工具或获取最新信息的任务时。作者通过使用科学问题答案（ScienceQA）和网页表格解析（TabMWP）两个任务来展示 Chameleon 的效率和适应性，结果表明 Chameleon 可以在这些任务上显著提高模型的准确率，并且使用 GPT-4 作为规划器可以更加稳定和合理地选择工具，并推断给定指令的潜在约束。

Apr, 2023

该研究使用生成对抗网络 (GANs) 生成面孔，发现在生成图像的过程中，训练数据中的偏见被放大。为了解决这个问题，提出了一种可解释的基准方法来平衡产生的面部属性，从而产生更平衡的数据。同时，该方法具有泛化能力来处理多个属性以及细分组的样本合成，进而用于量化商业人脸属性分类器和人脸超分辨率算法中的偏见。

Dec, 2020

本研究探讨了在人口统计方面出现的偏差对自然语言处理中的模型和数据集的影响，通过对大量的人工标注文本扰动数据的训练，得出采用人口统计扰动数据进行预训练和调优可以使语言模型更加公平，并且能在不牺牲下游任务性能的前提下减少模型的偏差。

May, 2022