DailyInfo Summary

提出面向204种语言的多词分词器,在包括英语在内的多语言上比GPT-4o分词器使用更少token。

Original Source

摘要用于研究导航;结论、版本与引用信息请以原始来源为准。

阅读原文 (外部链接)
技术信息

Stable ID: arxiv-2611.13059
Canonical URL: https://iheadwater.github.io/dailyinfo-web/arxiv/arxiv-2611.13059/