跳到正文
arXiv · cs.AI· Ruilin Gong, Hao Gong·· 4 小时前

让语言成为视觉的低码率编码:RUNG 从词到像素的逐级细化

Making Language the Low-Rate Code of Vision: Successive Refinement from Words to Pixels

AI 导读

研究将图像描述与文生图统一为逐级细化框架,提出有序视觉编码 RUNG:前缀由描述摘要阶梯监督,全长重建图像。在数据与容量固定下,按语言而非重建排序使前缀-描述信息提升 2.9 倍,GenEval 从 0.76 升至 0.83,代价是四分之一码长时 PSNR 下降 2.8 dB、全长仅降 0.1 dB。

来源:arXiv · cs.AI · arxiv.org