DailyInfo Summary
提出基于最优传输的分布式专家混合聚合方法,以更优地整合跨节点专家输出并提升分布式 MoE 的性能与可扩展性。
Original Source
摘要用于研究导航;结论、版本与引用信息请以原始来源为准。
技术信息
Stable ID: arxiv-2312.09877
Canonical URL: https://iheadwater.github.io/dailyinfo-web/arxiv/arxiv-2312.09877/
2312.09877提出基于最优传输的分布式专家混合聚合方法,以更优地整合跨节点专家输出并提升分布式 MoE 的性能与可扩展性。
摘要用于研究导航;结论、版本与引用信息请以原始来源为准。
Stable ID: arxiv-2312.09877
Canonical URL: https://iheadwater.github.io/dailyinfo-web/arxiv/arxiv-2312.09877/