同一段 TypeScript，为什么 Claude 比 GPT 多算 73% Token
作者：林岚
林岚
OC 原创示意图。
据 PlayCode 的实测，同一段 2888 个字符的 TypeScript 代码，被 OpenAI 的 o200k tokenizer 切成 681 个 token，而 Claude 的新 tokenizer 切成 1178 个，相差约 73%。在这组测试里，Python、JavaScript、Rust 和普通英文也都出现了不同程度的差距。
一句话结论： 模型价目表上的“每百万 Token”并不是可以直接横向比较的统一单位，同一份代码会被不同 tokenizer 切成不同数量，真正账单还要再乘上输出长度、缓存命中和 Agent 往返次数。
Token 不是字符，也不是单词。它是模型在训练前把文本切分出来的基本片段。常见英文词可能只占一个 token，生僻变量名、符号组合或 Unicode 字符则可能被切成多个。一个 tokenizer 如果更熟悉代码语法和常见标识符，就能用更少片段表示同样内容；如果切得更碎，模型看到的上下文更长，计费数量也随之增加。
PlayCode 用 16 组固定文本调用厂商提供的计数接口。除了 TypeScript 的 1.73 倍，Claude 新 tokenizer 相对 GPT 的差距在 Python 约为 1.50 倍、JavaScript 1.52 倍、Rust 1.58 倍，英文散文约 1.40 倍，中文样本约 1.44 倍。测试还显示 Claude 的新旧 tokenizer 之间也有变化，因此即使模型标价不变，升级模型后实际账单也可能改变。
OC 原创解释图：Token 压缩率只是成本公式中的一项。
但“Claude 多 73% Token”不能直接翻译成“Claude 贵 73%”。不同模型输入与输出单价不一样，缓存读取可能大幅降价，模型输出的简洁程度也不同。更强的模型如果一次完成任务，可能比一个需要反复修正的便宜模型更省钱。对 Agent 来说，工具结果、系统提示、代码索引和每轮对话会被重复送入，上下文组织方式常常比单次 tokenizer 差异更影响总成本。
这组基准也有局限。16 个样本无法代表所有代码库，框架生成代码、压缩文件、自然语言注释和中英文混排会得到不同结果。PlayCode 本身经营模型调用与开发工具，也有推动用户比较模型成本的商业动机。它的数据适合提醒我们检查账单，不适合单独决定模型选型。
本站编辑林岚认为，API 厂商继续用“百万 Token 价格”作为主要报价单位，却不提供统一的可比工作负载，开发者就很容易被标价误导。更实用的比较方法，是拿自己的十到五十个真实任务做回放，记录完成率、输入输出 Token、缓存、延迟和重试次数，最后计算“成功完成一个任务”的成本。
如果你在维护编码 Agent，还可以先做三个简单优化：不要每轮重发没有变化的大文件；给工具输出设长度上限；把长期稳定的系统上下文放进可缓存部分。Tokenizer 的差异值得看，但真正昂贵的通常是让模型反复阅读它不需要的东西。
评论
围绕这篇文章补充信息、提出问题或分享观察。