跳到正文
热点事件持续更新

ttok 1.0默认改用GPT-5系分词器

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

据2026年10月9日8时34分Simon Willison的报道,他发布了ttok 1.0,把默认tokenizer从GPT-4改为GPT-5/GPT-6。报道还写到此前的情况:他发布ttok 0.4后执行uv tool upgrade ttok,将文件通过管道送入新版本,发现默认仍是GPT-4 tokenizer。按报道中的先后,先是0.4发布后的升级与管道检查仍显示默认GPT-4分词器,其后1.0才把默认tokenizer改为GPT-5/GPT-6。报道涉及的工具为ttok,版本包括0.4与1.0,升级所用命令是uv tool upgrade ttok,检查方式是把文件管道送入新版本并查看默认tokenizer。目前报道给出的进展是ttok 1.0已经发布,默认分词器已从GPT-4调整为GPT-5/GPT-6,而0.4之后那次升级看到的默认值仍是GPT-4。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. Simon Willison
    Simon Willison 发布 ttok 1.0,默认 tokenizer 改为 GPT-5/GPT-6

    Simon Willison 发布 ttok 1.0,把默认 tokenizer 从 GPT-4 改为 GPT-5/GPT-6。他发布 ttok 0.4 后执行 uv tool upgrade ttok,把文件管道送入新版本,发现默认仍是 GPT-4 tokenizer。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。