跳到正文
arXiv · cs.LG· Anirudh Sundara Rajan, Krishna Kumar Singh, Richard Zhang, Yong Jae Lee·· 4 小时前

Pristine Models:在预训练阶段隔离不安全概念,推理时可断开不安全分支

Pristine Models

AI 导读

研究者提出 Pristine Models,一种文本到图像生成架构,通过注意力机制将安全与不安全知识分离到独立参数化的分支中,训练时学习分支参数,推理时可断开不安全分支。在 ImageNet 上,该模型比仅用安全数据训练或事后概念移除的图像质量更高、文本对齐更好,并进一步扩展到 CC12M 验证其在更大规模开放世界预训练中依然有效。

来源:arXiv · cs.LG · arxiv.org