정의

지도 미세 조정(Supervised Fine-Tuning, SFT)은 사전 훈련된 대규모 모델을 특정 목표 작업에 맞는 작고 고품질의 레이블링된 데이터셋으로 추가 훈련하는 응용 머신러닝의 핵심 과정입니다. 목표는 기본 모델에 내재된 일반 지식을 틈새 시장이나 도메인별 특정 요구 사항에 탁월하게 적용할 수 있도록 조정하는 것입니다.

중요성

범용 모델은 강력하지만, 전문화된 기업 애플리케이션에 필요한 미묘한 차이를 갖추지 못하는 경우가 많습니다. SFT는 도메인 전문 지식을 모델 가중치에 직접 주입함으로써 이러한 격차를 해소합니다. 그 결과, 출력물이 문법적으로 정확할 뿐만 아니라 맥락적으로 정확하고 특정 비즈니스 프로토콜이나 산업 전문 용어에 부합하게 됩니다.

작동 방식

이 과정은 이미 방대하고 다양한 데이터셋으로 훈련된 기반 모델(예: 대규모 트랜스포머 모델)에서 시작됩니다. SFT에서는 이 모델이 입력 프롬프트 쌍과 전문가가 제공한 원하는 출력 쌍에 노출됩니다. 모델은 미세 조정 데이터셋에 제공된 정답 레이블과 자신의 예측 간의 차이를 최소화하기 위해 내부 매개변수를 반복적으로 조정합니다.

일반적인 사용 사례

SFT는 다양한 비즈니스 기능에서 광범위하게 사용됩니다.

• 고객 서비스: 회사 고유의 정책과 어조를 사용하여 응답하도록 챗봇 훈련.
• 데이터 추출: 비정형 법률 또는 의료 문서에서 구조화된 데이터를 안정적으로 추출하도록 모델 미세 조정.
• 코드 생성: 독점적인 코딩 표준이나 특정 프레임워크 요구 사항을 준수하도록 모델 조정.
• 감성 분석: 미묘한 산업별 감성 변화를 감지하도록 모델 향상.

주요 이점

SFT의 주요 장점에는 목표 작업에 대한 상당한 성능 향상, 복잡한 지침을 대규모 모델에 프롬프팅하는 것에 비해 추론 지연 시간 감소, 브랜드 목소리 또는 규제 제약 조건 준수 개선 등이 포함됩니다.

과제

주요 과제는 레이블링된 데이터의 품질과 양에 있습니다. 부실하게 큐레이션되었거나 편향된 훈련 데이터는 성능이 좋지 않은 미세 조정된 모델을 초래할 것입니다. 게다가, 미세 조정 프로세스 자체에 필요한 컴퓨팅 리소스가 상당할 수 있습니다.

관련 개념

이 과정은 인간 피드백 기반 강화 학습(Reinforcement Learning from Human Feedback, RLHF)과 밀접하게 관련되어 있으며, RLHF는 종종 초기 작업별 튜닝 후 모델의 동작을 추가로 정렬하기 위해 SFT 다음에 수행됩니다.