arXiv · cs.LG· Fady Rezk, Royson Lee, Henry Gouk, Timothy Hospedales, Minyoung Kim·· 1 天前
权重空间学习实现可认证的小样本迁移学习
Weight Space Learning for Certifiable Few-shot Transfer Learning
AI 导读
研究者提出一种面向小样本迁移学习的权重空间方法，先用上游任务训练 PEFT 参数的扩散模型分布，再通过采样-评估流程在下游数据上选出最可能的 PEFT，将假设空间限制为有限样本集以获得更紧的风险证书。该工作实例化了泛化界，在低样本场景下给出非平凡的泛化保证，而现有方法在此场景下只能得到空洞的界。
来源：arXiv · cs.LG · arxiv.org