定义

Token流式传输是一种将大型语言模型（LLM）的输出增量地交付给最终用户或客户端应用程序的方法，它在生成单个token时就发送文本块，而不是等待整个响应完全计算并作为一个单一块返回。

系统不会在模型处理整个提示时出现长时间延迟，而是立即发送小的文本块（token）。这即使在总生成时间不变的情况下，也能营造出即时响应的感知。

为什么它很重要

对于现代AI应用来说，延迟是用户满意度的关键因素。传统的批处理式API调用迫使用户一直盯着加载指示器，直到出现最后一个词。Token流式传输从根本上改变了这种交互模式。

它极大地提高了应用程序的感知性能。用户几乎可以立即开始阅读和参与内容，从而带来显著更好的客户体验（CX）和更高的参与率。

工作原理

当应用程序使用Token流式传输时，它会与LLM端点建立一个持久的双向连接，通常使用Server-Sent Events (SSE) 或WebSockets等协议。

1. 请求发起： 客户端将提示发送到LLM API。
2. Token生成： LLM开始顺序生成token。
3. 增量传输： 一旦token准备好，服务器就通过已建立的连接将其推送到客户端。
4. 客户端渲染： 客户端应用程序接收每个token并立即将其渲染到屏幕上，将完整响应一块一块地组装起来。

常见用例

Token流式传输是多种高价值AI功能的基础：

• 聊天机器人和对话式AI： 在实时聊天界面中提供即时、流畅的响应。
• 代码生成助手： 在代码编写过程中显示代码片段，使开发人员能够即时审查逻辑。
• 摘要工具： 按词显示摘要，在处理过程中保持用户参与。
• 创意内容生成： 允许用户跟随叙事或诗歌的创作过程。

主要优势

实施Token流式传输的优势是清晰且可衡量的：

• 降低感知延迟： 最显著的优势；用户感觉应用程序运行得更快。
• 提高用户参与度： 持续的反馈使用户积极参与AI过程。
• 高效的资源利用率： 允许在复杂工作流程中实现更快的反馈循环。

挑战

虽然有益，但流式传输引入了复杂性：

• 状态管理： 客户端应用程序必须足够健壮，以便正确地组装和显示从单个HTTP响应体中到达的token。
• 错误处理： 管理连接中断或流中途的错误需要复杂的重试逻辑。
• Token计数： 准确跟踪token以进行计费或使用监控必须是增量进行的。

相关概念

Token流式传输与异步编程、API设计模式（如SSE）以及Transformer模型的底层机制密切相关。它是在LLM的token生成能力之上构建的一种交付机制。