정의

전문가 혼합(Mixture of Experts, MoE)은 모델이 '전문가'라고 불리는 여러 독립적인 하위 네트워크로 구성된 머신러닝 아키텍처입니다. 모든 입력을 처리하기 위해 단일한 거대한 모델을 사용하는 대신, MoE는 각 입력을 특정 하위 전문가 그룹으로 라우팅합니다. 이 라우팅은 '게이팅 네트워크' 또는 '라우터'에 의해 관리됩니다.

중요성

기존의 대규모 신경망은 추론 및 훈련 과정에서 계산 병목 현상을 겪는 경우가 많으며, 확장하기 위해 막대한 자원이 필요합니다. MoE는 희소성(sparsity)을 도입함으로써 이 문제를 해결합니다. 이는 모델이 훨씬 더 큰 네트워크의 성능을 달성하면서도 주어진 입력에 대해 전체 매개변수의 작은 부분만을 활성화하도록 하여 상당한 효율성 향상을 가져옵니다.

작동 방식

이 과정은 세 가지 주요 구성 요소를 포함합니다.

• 입력: 데이터 샘플(예: 문장의 토큰)이 시스템에 들어옵니다.
• 게이팅 네트워크(라우터): 이 네트워크는 입력을 분석하여 해당 특정 데이터 포인트를 처리하는 데 가장 적합한 하나 또는 두 개의 전문가를 결정합니다. 각 전문가에 가중치 또는 확률을 할당합니다.
• 전문가: 각 전문가는 일반적으로 더 작고 전문화된 신경망입니다. 라우터는 입력을 선택된 전문가에게 보내고, 전문가들은 독립적으로 이를 처리합니다. 선택된 전문가들의 출력은 가중치가 부여되고 합산되어 MoE 레이어의 최종 출력을 생성합니다.

일반적인 사용 사례

MoE 아키텍처는 최첨단 대규모 언어 모델(LLM) 개발에서 점점 더 널리 사용되고 있습니다. 또한, 서로 다른 전문가가 서로 다른 사용자 세그먼트나 제품 카테고리에 전문화할 수 있는 복잡한 추천 시스템과 대규모 검색 순위 지정 시스템에서도 연구되고 있습니다.

주요 이점

• 계산 효율성: 주요 이점은 희소한 하위 집합의 매개변수만 사용하기 때문에 토큰/입력당 계산 비용은 낮추면서도 높은 모델 용량(많은 매개변수)을 달성할 수 있다는 것입니다.
• 확장성: MoE는 훈련 또는 추론 지연 시간이 비례적으로 증가하지 않으면서 모델 크기를 거의 선형적으로 확장할 수 있도록 합니다.
• 전문성: 전문가는 특화된 지식을 개발할 수 있어 전체 모델이 더 높은 충실도로 더 다양한 작업을 처리할 수 있게 합니다.

과제

• 부하 분산: 라우터가 모든 전문가에 걸쳐 작업 부하를 고르게 분산하도록 보장하는 것이 중요합니다. 부하 분산이 제대로 되지 않으면 일부 전문가는 활용도가 낮아지는 반면 다른 전문가들은 병목 현상을 일으킬 수 있습니다.
• 구현 복잡성: MoE를 구현하려면 수많은 전문가 간의 통신을 효율적으로 관리하기 위한 전문화된 분산 훈련 프레임워크가 필요합니다.

관련 개념

희소 신경망, 조건부 계산, 희소 활성화 함수, AI의 스케일링 법칙