Hacker News · lluisantoni / hacker_news ·
语言模型分词器在不同语言间造成不公平(2023)
为什么值得读: 对中文等多语言场景的 token 成本与效果有直接解释力,属仍有现实意义的经典论文,但发表时间较早、非新信息。
AI 摘要
一篇 2023 年的论文,指出主流语言模型的分词器对非英语语言存在系统性不公平(同等语义需要更多 token),进而影响成本、上下文占用与效果。
相关事件与更多上下文见编辑部与归档页。