arXiv · cs.CL· Chenxi Ruan, Yihan Hou, Yu Xiao, Guosheng Hu, Wei Zeng·· 8 小时前
ColorConceptBench:评估文生图模型概率性颜色-概念理解的基准
ColorConceptBench: A Benchmark for Probabilistic Color-Concept Understanding in Text-to-Image Models
AI 导读
ColorConceptBench 是一个经专家标注的基准,通过概率颜色分布系统评估文生图模型的颜色-概念关联能力,覆盖 1,281 个隐式颜色概念、基于 6,584 条人工标注。对九个主流 T2I 模型的评测显示,性能在不同语义类别间差异显著,模型对抽象语义明显缺乏敏感性,且该局限在推理时使用 classifier-free guidance 缩放后依然存在。
来源:arXiv · cs.CL · arxiv.org