arXiv · cs.AI· Shuncheng Jie, Desen Sun, Ri Hong, Yuyang Tian, Hong Zhang, Sihang Liu·· 4 小时前
SAKURA:在带宽预算下为手机端私有图像编辑提供注意力 KV 状态
SAKURA: Serving Attention Key-Value State Under Rate Adaptation for Private Image Editing on Phones
AI 导读
SAKURA 是一种云边架构,可在带宽预算内把可复用的注意力 KV 状态传输到手机端,用于 Diffusion Transformer 图像编辑。它采用细粒度 token 重要性感知压缩,并按网络带宽为每个分片自适应选择缓存表示,同时用流水线运行时重叠传输、重建与端侧执行。
来源:arXiv · cs.AI · arxiv.org