ENGINEERING NOTES / NOTE 02 · 3 分钟阅读
流式体验,不止是首个 token。
从首段输出到完整结束,理解流式响应的几个时刻,也理解一次请求真正的完成方式。
先区分几个不同的时刻
连接建立、收到响应头、收到第一个事件和看到第一段文本,是不同的事情。只记录一个总耗时,很难判断等待发生在网络、排队还是生成阶段。
把事件当作连续的数据流
网络数据块并不对应完整的消息。一个事件可能被拆成多段,多个事件也可能一起到达。解析时应维护缓冲区,并按照协议中的事件边界处理,而不是假设每次读取都有完整的 JSON。
为中断留出空间
用户取消、网络断开和上游失败,都可能发生在输出中途。界面应区分“生成完成”和“连接结束”,保留已经展示的内容,同时明确说明是否可以继续或重试。
测量完整的使用体验
除了首段文本耗时,还可以观察事件间隔、完成率和取消响应时间。工具调用期间可能没有可展示的正文,合适的状态提示能让这段等待更容易理解。
从一个小问题开始,做一次可以验证的实验。