TokenSpeed 作为「控制面/执行面分离」的 agentic 推理引擎进入 PyTorch 生态景观,并在 2026/09 推进 GB300 上的 Kimi K3 优化(Part I)。
把请求生命周期与 KV cache 所有权编码为编译期可校验的状态机,是推理引擎在「高吞吐」之外补上「正确性可证明」的一条路径;对 agentic 负载(长上下文、多轮工具调用、KV 复用频繁)尤其相关。但该仓库正式 release 仅 v0.1.0(2026-07-24),近期能力以 README/博客形式记录,缺少版本化发布说明,生产采用前需自行评估稳定性与升级路径。
- GitHub README(lightseekorg/tokenspeed)News 段落:2026/09 Kimi K3 Optimization on GB300 — Part I,链接 lightseek.org/blog/kimi-k3-optimization-gb300-part-i.html;2026/08 记录 Qwen3.8 Flash Next 与 GLM 5.3 Flash 的 Day 0 支持、Qwen3.8 2.4T 规模推理,以及加入 PyTorch Ecosystem
- README 引用 PyTorch Foundation 在生态景观 Q3 更新中的表述:TokenSpeed 是首个将控制面与执行面分离的开源 LLM 推理引擎,控制面为 C++ 有限状态机并以类型系统在编译期强制资源安全,执行面为 Python
- https://github.com/lightseekorg/tokenspeed/blob/main/README.md
- 仓库元数据:★2158 / forks 291 / open issues 43,Python,MIT,created 2026-05-06,pushed 2026-09-22T08:03:23Z,https://github.com/lightseekorg/tokenspeed