DailyInfo Summary
提出 ADIndex,利用组级蒸馏实现按层自适应的稀疏注意力索引,在降低计算开销的同时保持模型性能。
Original Source
摘要用于研究导航;结论、版本与引用信息请以原始来源为准。
技术信息
Stable ID: arxiv-2611.12956
Canonical URL: https://iheadwater.github.io/dailyinfo-web/arxiv/arxiv-2611.12956/
2611.12956提出 ADIndex,利用组级蒸馏实现按层自适应的稀疏注意力索引,在降低计算开销的同时保持模型性能。
摘要用于研究导航;结论、版本与引用信息请以原始来源为准。
Stable ID: arxiv-2611.12956
Canonical URL: https://iheadwater.github.io/dailyinfo-web/arxiv/arxiv-2611.12956/