정의

단기 컨텍스트(Short-Term Context)란 AI 모델, 특히 대규모 언어 모델(LLM)이나 대화형 에이전트가 다음 출력을 생성할 때 적극적으로 고려할 수 있는 즉각적이고 제한된 이전 정보의 집합을 의미합니다. 이는 특정 상호작용이나 세션에 대한 시스템의 '작업 기억'입니다.

방대한 양의 과거 데이터를 저장하는 장기 기억과 달리, 단기 컨텍스트는 모델의 고정된 컨텍스트 창(동시에 처리할 수 있는 최대 토큰 수, 즉 단어나 하위 단어의 수)에 의해 제약됩니다.

중요성

단기 컨텍스트의 품질과 크기는 AI 응답의 일관성, 관련성 및 정확성을 직접적으로 결정합니다. 컨텍스트 창이 너무 작으면 모델이 대화의 이전 부분을 '잊어버리게' 되어 비논리적이거나 반복적인 출력이 발생합니다. 효과적인 컨텍스트 관리는 신뢰할 수 있고 인간과 같은 대화 경험을 구축하는 데 매우 중요합니다.

작동 방식

사용자가 프롬프트를 입력하면, 시스템은 해당 프롬프트를 이전 대화 턴(대화 기록)과 묶어 단일 입력 시퀀스로 만듭니다. 이 시퀀스가 단기 컨텍스트를 구성하며, 트랜스포머 아키텍처에 입력됩니다. 그런 다음 모델은 어텐션 메커니즘을 사용하여 이 제한된 창 내의 각 토큰의 중요도를 평가하여 다음에 가장 가능성이 높은 토큰을 예측합니다.

일반적인 사용 사례

• 챗봇 및 가상 비서: 여러 차례 주고받는 대화 전반에 걸쳐 주제 관련성을 유지합니다.
• 코드 생성: 프롬프트 초기에 제공된 변수 정의나 함수 서명을 기억합니다.
• 요약: 요약이 즉각적인 원본 문서에 제시된 핵심 사항을 정확하게 반영하도록 보장합니다.
• 대화 상태 추적: 방금 언급된 사용자의 선호도나 제약 조건을 추적합니다.

주요 이점

• 일관성: AI가 주제를 벗어나지 않고 대화의 흐름을 유지하도록 보장합니다.
• 관련성: 모델이 즉각적인 입력 기록을 기반으로 응답을 맞춤 설정할 수 있도록 합니다.
• 효율성: 전체 데이터베이스 기록을 로드하려고 시도하는 것보다 제한된 컨텍스트 창을 처리하는 것이 계산적으로 더 효율적입니다.

과제

• 컨텍스트 창 한계: 토큰에 대한 엄격한 제한은 복잡하고 다단계적인 추론의 깊이를 제한합니다.
• 컨텍스트 스터핑(Context Stuffing): 관련 없는 데이터로 컨텍스트를 과부하시키면 신호가 희석되어 성능이 저하될 수 있습니다.
• 지연 시간(Latency): 더 긴 컨텍스트 창을 처리하면 계산 부하와 응답 시간이 증가합니다.

관련 개념

• 장기 기억: 즉각적인 컨텍스트 창 외부의 정보를 검색하는 데 사용되는 외부 데이터베이스 또는 벡터 저장소입니다.
• 어텐션 메커니즘: 현재 예측에 단기 컨텍스트의 어떤 부분이 가장 관련이 있는지 결정하는 핵심 신경망 기능입니다.
• 토큰화(Tokenization): 텍스트를 모델이 실제로 처리하는 이산적인 단위(토큰)로 분해하는 과정입니다.