斯基GPT
主页|标签|归档|关于|RSS

🏷️ 标签: #activation similarity

共找到 1 篇相关文章

$ 订阅我们——📱Telegram 频道◆📡RSS 订阅
首页→标签→#activation similarity
2026/3/24

通过领域感知层选择理解视觉-语言模型中的剪枝机制

研究表明,基于变换器的视觉-语言模型(VLMs)存在显著的深度冗余,但去除特定解码器层的效果尚不明确,尤其是在需要感知与多步推理紧密结合的领域中。通过领域感知的激活相似性,研究了结构化解码器层剪枝,测量每一层在数学与非数学输入下对表示的转化强度。这一方法生成了简单的数学感知、非数学感知和混合排名标准,识别出在目标领域内输入输出激活变化最小的层。在两个最先进的VLMs和一系列数学及一般多模态基准测试...

#视觉-语言模型#剪枝机制#领域感知#激活相似性#多模态基准

🔗 相关标签

浏览所有标签 →

Powered by Cloudflare Workers + Payload CMS + Claude 3.5

数据源: OpenAI, Google AI, DeepMind, AWS ML Blog, HuggingFace 等