정의

연합 분류기(Federated Classifier)는 훈련 데이터가 여러 독립적인 클라이언트 장치 또는 서버에 분산된 상태에서 분류 작업을 수행하도록 설계된 머신러닝 모델입니다. 모든 원시 데이터를 중앙 위치에 모으는 대신, 모델을 데이터 소스로 보내 로컬에서 훈련시키고, 결과로 나온 모델 업데이트(기울기 또는 가중치)만 중앙 집계기(aggregator)로 다시 전송하여 취합합니다.

중요성

데이터 개인 정보 보호 및 규제 준수(예: GDPR 또는 HIPAA)는 현대 AI 배포의 주요 장애물입니다. 민감한 데이터를 중앙 집중화하는 것은 종종 법적으로나 실질적으로 불가능합니다. 연합 분류기 개념을 기반으로 하는 연합 학습(Federated Learning)은 조직이 원시 데이터가 소스 환경을 벗어나지 않도록 보장하면서도 분산된 방대한 양의 데이터를 모델 개선에 활용할 수 있도록 해결책을 제공합니다.

작동 방식

이 과정은 일반적으로 다음 단계를 따릅니다.

1. 초기화: 중앙 서버에 의해 전역 모델(분류기)이 초기화됩니다.
2. 분배: 서버는 현재 모델 버전을 선택된 참여 클라이언트들에게 전송합니다.
3. 로컬 훈련: 각 클라이언트는 자체 개인 데이터셋을 사용하여 모델을 로컬에서 훈련시킵니다. 이로 인해 로컬 모델 업데이트가 생성됩니다.
4. 집계: 클라이언트들은 이 업데이트(데이터가 아님)만 중앙 서버로 다시 전송합니다. 서버는 이후 연합 평균화(FedAvg)와 같은 집계 알고리즘을 사용하여 이 업데이트들을 개선된 전역 모델로 결합합니다.
5. 반복: 개선된 전역 모델이 다시 전송되고, 모델이 원하는 성능 수준에 도달할 때까지 이 주기가 반복됩니다.

일반적인 사용 사례

연합 분류기는 데이터 사일로(data silos)가 내재된 시나리오에서 매우 관련성이 높습니다.

• 모바일 키보드 예측: 개인 타이핑 기록을 업로드하지 않고 사용자 휴대폰에서 다음 단어 예측 모델을 훈련합니다.
• 의료 진단: 엄격한 개인 정보 보호 프로토콜 하에 환자 기록을 보유하고 있는 여러 병원에 걸쳐 진단 모델을 개발합니다.
• IoT 센서 네트워크: 지리적으로 분산된 산업용 센서 전반에 걸쳐 이상 감지 분류기를 훈련합니다.

주요 이점

• 향상된 데이터 개인 정보 보호: 원시 데이터는 로컬 장치에 유지되어 개인 정보 위험을 크게 줄입니다.
• 지연 시간 및 대역폭 감소: 훈련이 데이터 소스에 더 가깝게 발생하여 네트워크를 통해 방대한 데이터셋을 전송할 필요성을 최소화합니다.
• 다양한 데이터 접근성: 그렇지 않으면 접근할 수 없었을 고도로 분산되고 이질적인 데이터셋의 사용을 가능하게 합니다.

과제

• 비독립적이고 동일하게 분포되지 않은(Non-IID) 데이터: 클라이언트 간의 데이터는 종종 비독립적이고 동일하게 분포되지 않은(Non-IID) 상태이므로, 로컬 데이터 분포가 크게 달라 수렴에 어려움을 줄 수 있습니다.
• 통신 오버헤드: 원시 데이터 전송은 피하지만, 모델 업데이트의 반복적인 교환은 여전히 상당한 통신을 필요로 합니다.
• 시스템 이질성: 클라이언트 간의 장치 컴퓨팅 성능 및 네트워크 연결성 차이는 훈련 프로세스를 복잡하게 만들 수 있습니다.

관련 개념

연합 학습은 포괄적인 패러다임입니다. 관련 개념으로는 차분 프라이버시(Differential Privacy, 더 강력한 개인 정보 보호 보장을 위해 업데이트에 노이즈를 추가함)와 안전한 집계(Secure Aggregation, 서버가 개별 클라이언트 업데이트를 검사할 수 없도록 보장함)가 있습니다.