정의

파라미터 효율적 미세 조정(PEFT)은 대규모 사전 훈련 모델(예: 대규모 언어 모델 또는 LLM)을 기존의 전체 미세 조정 방식보다 훨씬 적은 학습 가능한 파라미터로 다운스트림 작업에 맞게 조정하도록 설계된 일련의 기술을 의미합니다.

PEFT 방법은 거대한 모델의 모든 가중치를 업데이트하는 대신, 소수의 파라미터 세트만 추가하거나 수정하여 훈련 프로세스를 훨씬 더 자원 친화적으로 만듭니다.

중요성

최첨단 기반 모델의 엄청난 크기는 채택에 있어 주요 장벽으로 작용합니다. 전체 미세 조정에는 막대한 컴퓨팅 파워(GPU, 메모리)와 방대한 양의 데이터가 필요하므로 많은 조직에게는 접근하기 어렵습니다. PEFT는 메모리 사용량과 전문화에 필요한 컴퓨팅 오버헤드를 획기적으로 줄임으로써 모델 맞춤 설정을 민주화합니다.

작동 방식

PEFT 방법은 파라미터 격리라는 원칙에 따라 작동합니다. 사전 훈련된 모델의 대다수 가중치는 고정(freeze)하고, 기존 아키텍처에 작고 학습 가능한 모듈 또는 어댑터를 주입합니다. 그런 다음 훈련 프로세스는 이 작게 추가된 구성 요소들만 최적화합니다.

일반적인 기술에는 다음이 포함됩니다.

• LoRA (Low-Rank Adaptation): 이것은 아마도 가장 인기 있는 방법일 것입니다. 원래의 가중치 행렬 옆에 작고 낮은 랭크의 행렬을 주입하여, 핵심 파라미터를 변경하지 않으면서 모델이 작업별 미묘한 차이를 학습할 수 있도록 합니다.
• 프롬프트 튜닝/프리픽스 튜닝(Prompt Tuning/Prefix Tuning): 이 방법들은 모델 가중치 자체를 수정하는 대신, 입력 임베딩 앞에 붙이는 연속적이고 작업별 벡터(소프트 프롬프트 또는 프리픽스)를 최적화하는 데 중점을 둡니다.

일반적인 사용 사례

PEFT는 막대한 인프라 비용을 발생시키지 않으면서 빠르고 목표 지향적인 적응이 필요한 시나리오에 이상적입니다.

• 도메인 적응: 일반 목적 LLM을 고도로 전문화된 전문 용어(예: 법률, 의학, 금융)를 이해하도록 맞춤 설정합니다.
• 작업 특화: 좁은 범위 내에서 감성 분석, 요약 또는 코드 생성에 모델을 특별히 미세 조정합니다.
• 다중 작업 학습: 하나의 기본 모델을 여러 관련 작업을 순차적으로 수행하도록 효율적으로 조정합니다.

주요 이점

PEFT를 사용하는 것의 이점은 운영 AI 배포에 있어 상당합니다.

• 컴퓨팅 비용 절감: 전체 미세 조정에 비해 GPU 메모리 요구 사항이 현저히 낮고 훈련 시간이 빠릅니다.
• 작은 모델 크기: 결과로 나오는 어댑터 가중치는 전체 모델에 비해 매우 작아 저장 및 배포가 용이합니다.
• 빠른 반복: 개발자는 다양한 작업 적응을 훨씬 더 빠르게 실험할 수 있습니다.

과제

매우 효과적이지만, PEFT에도 한계가 없는 것은 아닙니다. 어떤 파라미터를 조정할지 또는 어댑터를 어떻게 구성할지 선택하는 것은 도메인 지식을 필요로 합니다. 또한, 효율적이지만, 성능 향상이 항상 전체적이고 자원 집약적인 미세 조정으로 달성 가능한 이론적 최고치와 완벽하게 일치하지 않을 수도 있습니다.

관련 개념

이 개념은 한 작업의 지식을 다른 작업으로 재사용하는 일반적인 아이디어인 전이 학습(Transfer Learning)과 밀접하게 관련되어 있습니다. PEFT는 거대한 신경망의 맥락에서 효과적인 전이 학습을 달성하기 위한 구체적이고 고도로 최적화된 방법입니다.