DOCAI · 概念 · L2
什么是 TTFT
一句话定义
从发出请求到收到第一个 token 的时间，决定用户体感的「快不快」。
开发者更新 2026-11-13核验 2026-11-13 · docai 编辑部
它是什么
你按下发送，到屏幕上出现第一个字，中间那段时间就是 TTFT。
在流式输出里，它是最影响体感的指标——后面生成多快，用户已经不那么在意了。
由什么构成
- 网络往返：请求到服务端。
- 排队：高峰期可能等很久。
- 预填充（prefill）：模型要先读完整个输入，才能吐第一个 token。
所以输入越长，TTFT 越长。10 万 token 的上下文，光读就要时间。
怎么降
| 做法 | 效果 |
|---|---|
| 缩短输入（摘要、裁剪历史） | 减少预填充 |
| 用缓存命中的前缀 | 跳过重复预填充 |
| 换更小的模型 | 预填充和排队通常更快 |
| 就近接入点 | 减少网络往返 |
| 避开高峰 | 减少排队 |
三个常见误解
- 「TTFT 低就是总时延低」：不是。首字快不代表生成快，输出长时总时间由生成速度决定。
- 「优化模型就够了」：网络、排队、输入长度常常是更大的变量。
- 「流式等于 TTFT 低」：流式只是把 TTFT 暴露出来，不改变它。
怎么测
在客户端记录两个时间戳：请求发出、第一个增量到达。取 p50 和 p95——用户抱怨的通常是 p95，不是平均。