정의

연합 계층(Federated Layer)은 분산 시스템 내의 특정 아키텍처 구성 요소 또는 추상화 계층을 의미합니다. 이 계층의 주요 기능은 원시 데이터를 중앙 집중화하지 않으면서 여러 독립적인 노드 또는 데이터 사일로 전반의 작업을 관리하고 조정하는 것입니다. 모든 데이터를 한 곳에 모으는 대신, 이 계층은 지역화된 데이터셋에 대한 협업적 계산을 용이하게 합니다.

중요성

현대의 데이터 환경에서는 데이터 주권, 개인정보 보호 규정(GDPR 등), 지연 시간(latency) 문제가 모든 데이터를 단일 클라우드 인스턴스로 단순 집계하는 것을 방해합니다. 연합 계층은 데이터가 존재하는 곳에서 강력하고 대규모의 분석 및 모델 훈련이 이루어지도록 하여 엄격한 데이터 거버넌스를 유지함으로써 이 문제를 해결합니다.

작동 방식

운영적으로, 연합 계층은 로컬 모델 또는 계산이 엣지(edge) 또는 특정 조직 경계 내에서 독점 데이터셋을 기반으로 훈련되는 프로세스를 조정합니다. 민감한 원시 데이터가 아닌, 집계된 모델 업데이트, 기울기(gradients) 또는 메타데이터만 중앙 조정 서버로 전송됩니다. 이 서버는 이러한 업데이트를 집계하여 전역적으로 개선된 모델을 생성하고, 이 모델을 다음 훈련 라운드를 위해 로컬 노드에 다시 푸시합니다.

일반적인 사용 사례

• 기관 간 의료: 환자 기록을 공유하지 않고 여러 병원에서 진단 모델을 훈련합니다.
• 모바일 장치 학습: 사용자 스마트폰에서 로컬로 생성된 데이터를 사용하여 예측 텍스트 또는 음성 인식 모델을 개선합니다.
• IoT 네트워크: 지리적으로 분산된 산업 센서 전반에 걸쳐 이상 징후 탐지 모델을 개발합니다.

주요 이점

• 향상된 개인 정보 보호: 원시 데이터는 안전한 로컬 환경을 벗어나지 않습니다.
• 지연 시간 감소: 계산이 데이터 소스(엣지 컴퓨팅)에 더 가깝게 이루어집니다.
• 확장성: 단일 거대한 중앙 서버를 확장하는 대신 더 많은 독립적인 노드를 추가함으로써 아키텍처가 수평적으로 확장됩니다.

과제

• 통신 오버헤드: 노드 간의 모델 업데이트 빈번한 교환을 관리하는 것은 네트워크 지연 시간을 유발할 수 있습니다.
• 데이터 이질성 (Non-IID 데이터): 서로 다른 노드 간의 데이터 분포가 동일하지 않은 경우가 많으며, 이는 모델 수렴 문제를 일으킬 수 있습니다.
• 업데이트 보안: 원시 데이터는 안전하지만, 모델 업데이트 자체는 오염 공격이나 추론 공격으로부터 보호되어야 합니다.

관련 개념

이 개념은 연합 학습(Federated Learning), 엣지 컴퓨팅(Edge Computing), 분산 원장 기술(DLT)과 밀접하게 관련되어 있는데, 이 모든 것은 전역적인 목표를 달성하면서 계산 부하를 분산시키고 로컬 자율성을 유지하는 것을 목표로 하기 때문입니다.