정의

대규모 언어 모델(LLM) 및 생성형 AI의 맥락에서 토큰 예산(Token Budget)이란 특정 상호 작용, API 호출 또는 사용 기간 내에 애플리케이션이나 사용자가 처리할 수 있도록 허용된 최대 토큰 수를 의미합니다. 토큰은 LLM이 정보를 처리하는 데 사용하는 텍스트의 기본 단위이며, 단어, 하위 단어 또는 문자를 나타낼 수 있습니다.

이 예산은 모델이 동시에 처리할 수 있는 총 입력(프롬프트) 크기와 총 출력(완성) 크기를 결정하며, 이는 지연 시간과 운영 비용에 직접적인 영향을 미칩니다.

중요성

토큰 예산을 관리하는 것은 여러 비즈니스적인 이유로 매우 중요합니다.

• 비용 통제: LLM 사용량은 일반적으로 토큰당 청구됩니다. 예산을 초과하거나 지나치게 긴 프롬프트를 보내면 예측 불가능하고 높은 운영 비용이 발생할 수 있습니다.
• 성능 및 지연 시간: 극도로 큰 입력이나 출력은 모델의 처리 용량을 압박하여 응답 시간이 느려질 수 있습니다.
• 시스템 제약 사항: 많은 API는 컨텍스트 창 크기에 엄격한 제한을 부과합니다. 예산을 준수하면 애플리케이션이 제공업체의 기술 사양 내에서 기능하도록 보장할 수 있습니다.

작동 방식

토큰화 과정은 원시 텍스트를 개별 토큰으로 분해합니다. 예를 들어, 'tokenization'이라는 단어는 여러 토큰으로 분해될 수 있습니다. 토큰 예산은 보통 모델의 컨텍스트 창 크기(예: 4096 토큰)로 정의됩니다. 이 창은 입력 프롬프트와 예상 출력 응답을 모두 수용해야 합니다.

프롬프트가 3000 토큰을 사용하고 모델의 최대 컨텍스트 창이 4096 토큰이라면, 응답에 사용할 수 있는 남은 예산은 1096 토큰뿐입니다.

일반적인 사용 사례

• 챗봇 및 대화형 AI: 예산을 제한하면 무한 루프나 지나치게 긴 대화 기록으로 인해 비용이 증가하는 것을 방지할 수 있습니다.
• 데이터 요약: 대규모 문서를 요약할 때 예산을 설정하면 출력이 간결하고 다운스트림 처리 한계 내에 맞도록 보장할 수 있습니다.
• 에이전트 오케스트레이션: 다단계 AI 에이전트에서 예산은 최종 조치가 취해지기 전 추론 체인의 복잡성을 제어합니다.

주요 이점

• 예측 가능한 지출: 명확한 예산을 설정하면 재무팀이 AI 운영 비용을 정확하게 예측할 수 있습니다.
• 최적화된 사용자 경험(UX): 입력 길이를 관리함으로써 개발자는 사용자에게 시의적절하고 관련성 있는 답변을 제공하도록 보장할 수 있습니다.
• 자원 효율성: 지나치게 장황하거나 관련 없는 데이터에 컴퓨팅 자원이 낭비되는 것을 방지합니다.

과제

• 컨텍스트 관리: 예산을 초과하지 않으면서 프롬프트에 포함할 최적의 과거 데이터 양을 결정하는 것은 끊임없는 균형 잡기 과정입니다.
• 토큰 추정의 부정확성: 도구는 존재하지만, 복잡하고 비정형적인 데이터의 정확한 토큰 수를 전송하기 전에 예측하는 것은 어려울 수 있습니다.

관련 개념

• 컨텍스트 창(Context Window): 모델이 한 번에 고려할 수 있는 토큰의 총 용량입니다.
• 프롬프트 엔지니어링(Prompt Engineering): 원하는 효율적인 출력을 이끌어내기 위해 입력을 구성하는 방법입니다.
• 추론 비용(Inference Cost): 응답을 생성하기 위해 모델을 실행하는 것과 관련된 운영 비용입니다.