정의

연합 프레임워크(Federated Framework)는 원시 데이터가 한 곳에 중앙 집중화될 필요 없이 여러 분산된 데이터 소스나 장치에 걸쳐 공유 모델 또는 애플리케이션을 훈련하거나 실행할 수 있게 해주는 아키텍처 패턴입니다. 모든 데이터를 모으는 대신, 이 프레임워크는 모델을 데이터 소스로 전송하고, 학습된 업데이트를 집계하며, 개선된 모델을 다시 배포함으로써 학습 과정을 조정합니다.

중요성

현대의 데이터 생태계에서 데이터는 규제 제약(GDPR 또는 HIPAA와 같은)이나 경쟁적 우려, 또는 순수한 물류적 어려움으로 인해 종종 사일로화됩니다. 연합 프레임워크는 강력한 AI 모델을 훈련하기 위해 대규모의 다양한 데이터 세트가 필요하다는 요구와 데이터 주권 및 개인 정보 보호를 유지해야 한다는 필수적인 요구 사이의 중요한 긴장을 해결합니다. 이는 조직이 자체 정보의 기밀성을 훼손하지 않으면서 지능을 공유할 수 있도록 합니다.

작동 방식

이 과정은 일반적으로 다음 단계를 따릅니다.

1. 초기화: 중앙 서버가 전역 모델을 초기화하고 이를 참여하는 로컬 클라이언트(예: 병원, 모바일 장치 또는 지역 서버)에 배포합니다.
2. 로컬 훈련: 각 로컬 클라이언트는 자체적인 비공개 로컬 데이터 세트를 사용하여 모델을 훈련합니다. 데이터 자체가 아닌 모델의 업데이트된 매개변수 또는 기울기만 계산됩니다.
3. 집계: 클라이언트들은 이러한 매개변수 업데이트를 중앙 서버로 다시 전송합니다. 서버는 집계 알고리즘(예: 연합 평균, FedAvg)을 사용하여 이러한 업데이트를 단일화되고 개선된 전역 모델로 결합합니다.
4. 배포: 정제된 전역 모델은 다음 훈련 라운드를 위해 클라이언트에게 다시 전송되며, 수렴이 달성될 때까지 반복됩니다.

일반적인 사용 사례

• 헬스케어: 민감한 환자 기록을 공유하지 않고 여러 병원 시스템에 걸쳐 진단 AI 모델 훈련.
• 모바일 키보드: 개별 스마트폰에 로컬로 저장된 사용자 입력 데이터를 사용하여 예측 텍스트 모델 개선.
• 금융 서비스: 거래 데이터를 각 지점의 방화벽 내에 안전하게 유지하면서 여러 은행 지점에 걸쳐 사기 탐지 모델 개발.

주요 이점

• 향상된 개인 정보 보호: 원시 데이터는 안전한 로컬 환경을 벗어나지 않으므로 개인 정보 위험이 대폭 감소합니다.
• 지연 시간 감소: 계산이 데이터 소스 근처(엣지)에서 발생할 수 있어 추론 시간이 단축됩니다.
• 확장성: 이 아키텍처는 단일 중앙 서버에 과부하를 주지 않으면서 방대한 수의 분산된 참여자를 자연스럽게 지원합니다.

과제

• 비독립적이고 동일하게 분포되지 않은(Non-IID) 데이터: 서로 다른 클라이언트의 데이터는 종종 동일하고 독립적으로 분포되지 않기 때문에 모델 수렴 문제가 발생할 수 있습니다.
• 통신 오버헤드: 클라이언트와 서버 간의 모델 업데이트 빈번한 통신은 여전히 상당한 대역폭을 소비할 수 있습니다.
• 시스템 이질성: 다양한 참여 장치 간의 다양한 컴퓨팅 능력 및 네트워크 안정성을 관리하려면 강력한 프레임워크 설계가 필요합니다.

관련 개념

연합 학습(Federated Learning)은 연합 프레임워크의 가장 일반적인 응용 분야입니다. 관련 개념에는 엣지 컴퓨팅(처리 과정이 네트워크 엣지에서 발생하는 경우)과 차분 프라이버시(연합 방식 위에 수학적 개인 정보 보호 보장을 추가하기 위해 종종 계층화되는 기술)가 있습니다.