Simon Willison 发布 ttok 1.0，默认 tokenizer 改为 GPT-5/GPT-6

我发布了 ttok 0.4，运行了 uv tool upgrade ttok，把一个文件通过管道传给新版本……然后发现它默认使用的是 GPT-4 分词器，而它显然应该默认使用 GPT-5/GPT-6！

我觉得切换默认值是一个合理的借口，终于可以发布 1.0 了。

OpenAI 实际上还没有确认 GPT-6 使用与 GPT-5 系列相同的分词器——有一个 对此表示不满的 issue——但我找到了 William Liu 的 这个 commit，其中报告了他做的一项实验，确认这些分词器很可能是相同的：

全部七个 GPT 模型（5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna）都报告 44,794 个 token，并且在全部 31 个 fixture 上彼此一致。GPT-6 在这个语料上没有引入输入计数的变化。