정의

토큰 스트리밍은 대규모 언어 모델(LLM)의 출력을 전체 응답이 완전히 계산되어 단일 블록으로 반환되기를 기다리는 대신, 개별 토큰이 생성됨에 따라 최종 사용자 또는 클라이언트 애플리케이션에 점진적으로 전달하는 방식입니다.

모델이 전체 프롬프트를 처리하는 동안 긴 지연이 발생하는 대신, 시스템은 작은 텍스트 조각(토큰)을 즉시 다시 보냅니다. 이는 전체 생성 시간이 동일하더라도 즉각적인 응답이라는 인식을 만들어냅니다.

중요성

현대 AI 애플리케이션에서 지연 시간은 사용자 만족도의 중요한 요소입니다. 기존의 배치(batch) 방식 API 호출은 사용자가 마지막 단어가 나타날 때까지 로딩 스피너를 응시하도록 강요합니다. 토큰 스트리밍은 이 상호 작용 모델을 근본적으로 변화시킵니다.

이는 애플리케이션의 체감 성능을 획기적으로 향상시킵니다. 사용자는 거의 즉시 콘텐츠를 읽고 참여할 수 있게 되어 고객 경험(CX)이 크게 향상되고 참여율이 높아집니다.

작동 방식

애플리케이션이 토큰 스트리밍을 사용할 때, 서버 전송 이벤트(SSE) 또는 웹소켓과 같은 프로토콜을 사용하여 LLM 엔드포인트와 지속적이고 양방향적인 연결을 설정합니다.

1. 요청 시작: 클라이언트가 LLM API로 프롬프트를 전송합니다.
2. 토큰 생성: LLM이 토큰을 순차적으로 생성하기 시작합니다.
3. 점진적 전송: 토큰이 준비되는 즉시 서버는 설정된 연결을 통해 클라이언트로 이를 푸시합니다.
4. 클라이언트 렌더링: 클라이언트 애플리케이션은 각 토큰을 수신하고 즉시 화면에 렌더링하여 전체 응답을 조각별로 조립합니다.

일반적인 사용 사례

토큰 스트리밍은 여러 고부가가치 AI 기능의 기반이 됩니다.

• 챗봇 및 대화형 AI: 실시간 채팅 인터페이스에서 즉각적이고 자연스러운 응답 제공.
• 코드 생성 도우미: 코드가 작성되는 대로 코드 조각을 보여주어 개발자가 즉시 로직을 검토할 수 있도록 함.
• 요약 도구: 처리 시간 동안 사용자의 참여를 유지하기 위해 요약을 단어별로 표시.
• 창의적 콘텐츠 생성: 사용자가 서사나 시가 구성되는 과정을 따라갈 수 있도록 함.

주요 이점

토큰 스트리밍을 구현하는 것의 장점은 명확하고 측정 가능합니다.

• 체감 지연 시간 감소: 가장 중요한 이점이며, 사용자는 애플리케이션이 더 빠르다고 느낍니다.
• 사용자 참여도 향상: 지속적인 피드백은 사용자가 AI 프로세스에 적극적으로 관여하도록 유지합니다.
• 효율적인 리소스 활용: 복잡한 워크플로우에서 더 빠른 피드백 루프를 가능하게 합니다.

과제

유익하지만, 스트리밍은 복잡성을 도입합니다.

• 상태 관리: 클라이언트 애플리케이션은 단일 HTTP 응답 본문에서 도착하는 토큰들을 올바르게 조립하고 표시할 만큼 충분히 견고해야 합니다.
• 오류 처리: 연결 끊김이나 스트림 중간 오류를 관리하려면 정교한 재시도 로직이 필요합니다.
• 토큰 카운팅: 청구 또는 사용량 모니터링을 위한 정확한 토큰 추적은 점진적으로 이루어져야 합니다.

관련 개념

토큰 스트리밍은 비동기 프로그래밍, API 설계 패턴(SSE와 같은), 그리고 트랜스포머 모델의 기본 메커니즘과 밀접하게 관련되어 있습니다. 이는 LLM의 토큰 생성 기능을 기반으로 구축된 전달 메커니즘입니다.