연합 벤치마크
연합 벤치마크(Federated Benchmark)란 여러 지역에 분산되거나 사일로화된 데이터셋에 걸쳐 머신러닝 모델의 성능, 견고성 및 공정성을 평가하기 위해 설계된 표준화된 평가 지표 및 테스트 절차를 의미합니다. 모든 데이터를 한 곳에 모으는 기존의 중앙 집중식 벤치마킹과 달리, 연합 벤치마킹은 데이터의 지역성 및 개인 정보 보호 제약 조건을 준수하면서 작동합니다.
오늘날 데이터 중심 환경에서는 민감한 데이터(예: 의료 기록 또는 독점 고객 데이터)를 항상 중앙 집중화할 수 없습니다. 연합 학습(Federated Learning)은 원시 데이터가 출처를 벗어나지 않으면서도 모델이 이 분산된 데이터로부터 학습할 수 있도록 합니다. 연합 벤치마크는 모델이 실제 분산된 조건—데이터가 본질적으로 사일로화된 운영 환경을 모방하는 조건—에서 잘 작동한다는 것을 입증하는 신뢰할 수 있고 표준화된 방법을 제공하기 때문에 매우 중요합니다.
이 과정은 일반적으로 벤치마크 프로토콜을 관리하는 중앙 오케스트레이터(central orchestrator)를 포함합니다. 참여하는 데이터 소유자(클라이언트)는 자신의 개인 데이터를 사용하여 모델의 로컬 버전을 훈련합니다. 데이터 자체를 전송하는 대신, 클라이언트는 모델 업데이트(기울기 또는 가중치)를 오케스트레이터로 다시 전송합니다. 오케스트레이터는 연합 평균화(FedAvg)와 같은 기술을 사용하여 이러한 업데이트를 집계하여 전역적이고 개선된 모델을 생성합니다. 그런 다음 벤치마크는 이 전역 모델을 다양한 시뮬레이션되거나 실제 연합 환경에서 미리 정의된 표준화된 작업에 대해 테스트합니다.
연합 학습(Federated Learning), 차분 프라이버시(Differential Privacy), 모델 드리프트(Model Drift), 분산 컴퓨팅(Distributed Computing).
