희소 검색
희소 검색(Sparse Retrieval)은 일반적으로 희소 벡터를 사용하여 텍스트의 이산적이고 명시적인 표현에 의존하는 정보 검색 기법의 한 종류를 말합니다. 텍스트를 연속적인 고차원 벡터 공간으로 매핑하는 밀집 검색(dense retrieval) 방식과 달리, 희소 방식은 단어 수나 이진 지표와 같이 명시적으로 존재하는 특징을 사용하여 문서와 쿼리를 표현합니다.
대규모 정보 검색 시스템에서 효율성과 해석 가능성은 매우 중요합니다. 희소 방식은 0이 아닌 특징 값만 저장하고 처리하기 때문에 인덱싱 및 검색 속도에서 계산상의 이점을 제공합니다. 이는 정확한 키워드 일치나 단어 빈도가 가장 중요한 방대한 데이터셋에 매우 확장성이 높다는 것을 의미합니다.
핵심 메커니즘은 텍스트를 어휘 공간(vocabulary space)으로 매핑하는 것입니다. 각 문서나 쿼리는 차원이 어휘 항목에 해당되는 벡터로 표현됩니다. 특정 차원의 값은 해당 단어의 빈도(예: TF-IDF 점수) 또는 문서 내 해당 단어의 이진 존재 지표가 됩니다. 그런 다음, 희소 쿼리 벡터와 희소 문서 벡터 간의 코사인 유사도나 내적과 같은 기술을 사용하여 유사성을 계산함으로써 검색이 수행됩니다.
희소 검색은 높은 정확도의 키워드 일치를 위해 기존 검색 엔진에서 널리 사용됩니다. 또한, 정확한 용어 일치와 의미론적 의미를 모두 포착하기 위해 밀집 검색 모델을 보완하는 하이브리드 검색 아키텍처에서도 사용됩니다. 응용 분야에는 전자상거래 제품 검색, 문서 관리 시스템, 지식 기반 질의 등이 있습니다.
주요 이점으로는 인덱싱 및 쿼리 시 높은 계산 효율성, 뛰어난 해석 가능성(검색된 결과를 특정 일치 키워드로 추적할 수 있음), 그리고 매우 구체적이거나 전문 용어가 많은 쿼리를 다룰 때의 견고성이 있습니다.
희소 방식의 주요 한계는 본질적으로 의미론적 유사성을 포착하지 못한다는 점입니다. 쿼리가 문서의 어휘에 명시적으로 존재하지 않는 동의어나 관련 개념을 사용하는 경우, 희소 검색은 관련 결과를 찾지 못할 수 있으며, 이는 밀집 모델에 비해 재현율(recall)이 낮아지는 결과를 초래합니다.
이 기술은 신경망을 사용하여 연속적인 임베딩을 생성하는 밀집 검색과 종종 대조됩니다. 또한, 고도로 최적화된 희소 검색 알고리즘인 BM25와도 밀접하게 관련되어 있습니다.
