정의

상황 기억(Contextual Memory)이란 AI 시스템이 특정 세션 내 또는 여러 세션에 걸쳐 수집된 정보를 유지하고, 접근하며, 활용하는 능력을 의미합니다. 모든 입력을 완전히 새로운 것으로 취급하는 상태 비저장(stateless) 처리와 달리, 상황 기억은 AI가 사용자의 지속적인 요구 사항, 선호도 및 대화의 흐름에 대한 동적인 이해를 구축할 수 있도록 합니다.

중요성

현대 애플리케이션, 특히 챗봇과 지능형 에이전트에게 맥락(context)은 전부입니다. 맥락이 없으면 상호 작용이 단편적이고 답답해집니다. 상황 기억은 단순한 질의응답 도구를 유용하고 지속적인 비서로 변화시킵니다. 사용자가 필요한 모든 세부 정보를 명시적으로 다시 말하지 않더라도, 시스템이 후속 질문에 정확하게 답변할 수 있도록 해줍니다.

작동 방식

이 메커니즘은 일반적으로 사용자 입력, 시스템 응답, 식별된 개체, 추론된 의도와 같은 상호 작용 데이터를 임시 또는 영구 메모리 저장소에 저장하는 것을 포함합니다. 이 데이터는 인코딩(종종 벡터 임베딩 사용)된 다음, 현재 프롬프트의 일부로 언어 모델이나 의사 결정 알고리즘에 다시 공급됩니다. 이를 통해 모델은 과거 기록을 기반으로 다음 출력을 조건화할 수 있습니다.

일반적인 사용 사례

• 전자상거래 도우미: 사용자가 장바구니에 담은 품목이나 여러 대화 턴에 걸친 선호 배송 주소를 기억합니다.
• 고객 지원 봇: 복잡한 문제 해결 세션의 흐름을 유지하여 사용자가 초기 문제를 다시 설명할 필요가 없게 합니다.
• 개인화된 추천: 과거에 본 제품이나 주제를 추적하여 후속 세션에서 매우 관련성 높은 제안을 제공합니다.

주요 이점

• 향상된 사용자 경험(UX): 상호 작용이 자연스럽고 일관되며 개인화되어 사용자의 인지 부하를 줄여줍니다.
• 높은 작업 완료율: 제약 조건과 선호도를 기억함으로써 AI가 사용자를 성공적인 결과로 이끌 가능성이 높아집니다.
• 더 깊은 개인화: 시스템이 일반적인 응답을 넘어 진정으로 맞춤화된 지원을 제공할 수 있도록 합니다.

과제

• 메모리 관리: 무엇을 저장할지, 얼마나 오래 저장할지, 관련 없는 데이터를 언제 가지치기할지 결정하는 것이 복잡합니다.
• 컨텍스트 창 제한: 대규모 언어 모델은 유한한 입력 제한을 가지고 있으므로, 매우 장기적인 메모리를 관리하려면 정교한 검색 메커니즘(RAG와 같은)이 필요합니다.
• 개인 정보 보호 및 보안: 개인 상호 작용 데이터를 저장하는 것은 강력한 보안 프로토콜과 명확한 사용자 동의를 필요로 합니다.

관련 개념

검색 증강 생성(RAG)은 관련 외부 지식을 현재 컨텍스트 창으로 가져오기 위해 상황 기억과 함께 자주 사용되는 기술입니다. 상태 관리(State Management)는 시스템이 사용자 세션의 현재 운영 상태를 추적하는 방식을 규정하는 더 광범위한 엔지니어링 분야입니다.