연합 점수 산정
연합 점수 산정(Federated Scoring)이란 기계 학습 모델의 성능을 평가하거나 점수를 할당하는 과정으로, 이때 기반 데이터가 여러 개의 독립적이고 종종 지리적으로 분산된 노드나 장치에 존재합니다. 모든 원시 데이터를 단일 중앙 서버로 집계하여 점수를 매기는 대신, 점수 산정 로직이 분산되어 모델이 데이터 주권을 유지하면서 로컬 데이터셋을 대상으로 테스트될 수 있도록 합니다.
현대 기업 환경에서는 데이터가 중앙 집중화되는 경우가 거의 없습니다. 규제 제약(GDPR 또는 HIPAA와 같은)과 방대한 데이터 양 때문에 민감한 데이터를 이동시키는 것이 비실용적이거나 불법적입니다. 연합 점수 산정은 데이터 프라이버시를 침해하거나 막대한 데이터 전송 비용을 발생시키지 않으면서 엄격한 실제 성능 검증을 가능하게 함으로써 이 문제를 해결합니다.
이 과정은 일반적으로 중앙 오케스트레이터가 모델 아티팩트 또는 점수 산정 함수를 다양한 로컬 클라이언트에 배포하는 것으로 시작됩니다. 각 클라이언트는 자신의 비공개 데이터셋을 대상으로 로컬에서 점수 산정 함수를 실행합니다. 입력 데이터나 결과 점수를 직접 전송하는 대신, 클라이언트는 집계된 메트릭, 기울기 업데이트 또는 지역화된 성능 지표를 오케스트레이터로 다시 보낼 수 있습니다. 그런 다음 오케스트레이터는 이러한 분산된 결과를 집계하여 전체 시스템에 대한 포괄적인 성능 점수를 산출합니다.
연합 점수 산정은 엣지 컴퓨팅, 모바일 장치 지능, 다자간 데이터 협업과 관련된 시나리오에서 매우 중요합니다. 예시로는 여러 은행 지점 전반의 사기 탐지 모델 점수 산정이나 다양한 지역 사용자 기반에 걸친 개인화 추천 엔진 평가 등이 있습니다.
주요 이점으로는 향상된 데이터 프라이버시, 데이터 소스에 더 가까운 곳에서 추론을 수행함으로써 지연 시간 감소, 그리고 거버넌스나 인프라 제약으로 인해 접근할 수 없었을 대규모의 이질적인 데이터셋으로 모델을 훈련하고 검증할 수 있는 능력이 있습니다.
연합 점수 산정을 구현하는 것은 네트워크 이질성, 상이한 데이터 분포(비-IID 데이터) 전반에 걸쳐 통계적 관련성 보장, 그리고 수많은 독립적인 노드 간의 통신 오버헤드 관리에 관련된 복잡성을 야기합니다.
이 개념은 분산된 데이터에 걸친 모델 훈련에 중점을 두는 연합 학습(Federated Learning)과 밀접하게 관련되어 있지만, 연합 점수 산정은 분산된 방식으로 모델 평가 또는 추론 검증에 특별히 중점을 둡니다. 차분 프라이버시(Differential Privacy)는 공유되는 메트릭에 수학적 보장을 추가하기 위해 종종 함께 사용됩니다.
