양자화 모델
양자화 모델이란 훈련된 머신러닝 모델의 가중치와 활성화 값의 수치 정밀도를 낮춘 버전입니다. 일반적으로 모델은 32비트 부동 소수점 숫자(FP32)를 사용하여 훈련됩니다. 양자화는 이러한 고정밀 값을 16비트 부동 소수점(FP16), 8비트 정수(INT8) 또는 그보다 낮은 비트 표현으로 변환합니다.
모델 크기와 계산 요구 사항은 특히 엣지 디바이스나 리소스가 제한된 클라우드 환경에서 대규모 AI 모델을 배포할 때 주요 병목 현상입니다. 양자화는 추론 시 메모리 사용량과 필요한 계산량(FLOPs)을 크게 줄여서 이를 직접적으로 해결합니다.
이러한 효율성 증가는 더 빠른 추론 시간, 낮은 지연 시간, 그리고 AI 워크로드를 대규모로 운영하는 기업의 운영 비용 절감으로 직결됩니다.
핵심 아이디어는 연속적인 범위의 부동 소수점 값을 이산적인 저정밀도 값 집합으로 매핑하는 것입니다. 이 과정에는 각 텐서에 대해 스케일링 팩터와 제로 포인트(zero-point)를 정의하는 것이 포함됩니다. 원래의 FP32 값은 선택된 비트 폭 범위 내의 정수 값으로 매핑됩니다. 훈련 후 양자화(PTQ)와 같이 훈련 후에 양자화를 수행하는 방법과, 정확도 손실을 최소화하기 위해 시뮬레이션된 양자화 노이즈로 모델을 훈련하는 양자화 인식 훈련(QAT)과 같은 여러 기술이 있습니다.
양자화 모델은 여러 현대 AI 애플리케이션에 매우 중요합니다.
