정의

컨텍스트 창(context window)이란 대규모 언어 모델(LLM)이 단일 상호작용 중에 처리하거나 '기억'할 수 있는 최대 입력 텍스트(프롬프트) 및 출력 텍스트(완성)의 양을 의미합니다. 이 용량은 토큰으로 측정되며, 토큰은 대략 단어나 하위 단어 단위와 같습니다.

중요성

컨텍스트 창의 크기는 LLM이 처리할 수 있는 작업의 복잡성과 범위를 직접적으로 결정합니다. 창이 클수록 모델은 훨씬 더 긴 대화에서 일관성을 유지하고, 방대한 문서를 분석하며, 전체적인 맥락을 놓치지 않고 복잡한 입력의 이전 부분을 참조할 수 있습니다.

작동 방식

대부분의 최신 LLM을 구동하는 트랜스포머 기반 모델은 이 정의된 토큰 한계 내에서 정보를 순차적으로 처리합니다. 입력이 컨텍스트 창을 초과하면 모델은 가장 오래된 정보를 잘라내야 하므로, 사실상 대화나 문서의 시작 부분을 '잊어버리게' 됩니다.

일반적인 사용 사례

• 문서 요약: 전체 법률 요약서나 연구 논문을 한 번에 분석합니다.
• 장문 챗봇: 긴 사용자 세션에 걸쳐 대화 기록을 유지합니다.
• 코드 생성: 모델이 정확한 완성을 위해 대규모 코드베이스를 참조할 수 있도록 합니다.
• 데이터 분석: 텍스트 입력으로 제공된 긴 로그나 데이터 세트를 처리합니다.

주요 이점

• 일관성 향상: 모델이 더 맥락적으로 관련성 높고 일관된 출력을 생성할 수 있도록 합니다.
• 심층 분석: 대규모 데이터 세트나 문서를 총체적으로 검토할 수 있게 합니다.
• 복잡한 작업 처리: 이전 지침이나 데이터를 참조해야 하는 다단계 추론을 지원합니다.

과제

• 비용 및 지연 시간: 더 큰 컨텍스트 창은 훨씬 더 많은 컴퓨팅 리소스(VRAM 및 처리 시간)를 필요로 하므로 API 비용과 응답 지연 시간이 증가합니다.
• 어텐션 저하: 창이 크더라도 모델이 입력의 가장 앞이나 가장 끝에 배치된 정보에 동등한 가중치를 부여하는 데 어려움을 겪을 수 있습니다.

관련 개념

• 토큰화(Tokenization): 원시 텍스트를 모델이 이해할 수 있는 개별 토큰으로 분해하는 과정입니다.
• 어텐션 메커니즘(Attention Mechanism): 모델이 컨텍스트 내에서 서로 다른 토큰들의 중요도를 상대적으로 가중치를 부여할 수 있게 하는 핵심 아키텍처 구성 요소입니다.
• 미세 조정(Fine-Tuning): 제약된 컨텍스트 내에서 성능을 향상시키기 위해 사전 훈련된 모델을 특정 데이터로 조정하는 것입니다.