추론 게이트웨이
추론 게이트웨이(Inference Gateway)는 애플리케이션이 배포된 머신러닝(ML) 모델로부터 예측을 요청할 수 있도록 중앙 집중식으로 관리되는 진입점 역할을 합니다. 이는 최종 사용자 애플리케이션(클라이언트)과 실제 ML 모델 제공 인프라 사이에 위치합니다. 이의 주요 기능은 대규모로 추론 요청을 라우팅, 오케스트레이션 및 관리하는 것입니다.
운영 환경에서 단순히 ML 모델을 호스팅하는 것만으로는 불충분합니다. 추론 게이트웨이는 복잡성을 관리하는 데 필요한 추상화 계층을 제공합니다. 이는 애플리케이션이 기본 인프라 세부 사항을 알 필요 없이 모델 예측에 안정적으로 접근할 수 있도록 보장하며, 로드 밸런싱, 버전 관리 및 보안 검사를 자동으로 처리합니다.
애플리케이션이 예측이 필요할 때(예: 감성 분석, 이미지 분류), 추론 게이트웨이 엔드포인트로 요청을 보냅니다. 그러면 게이트웨이는 다음과 같은 몇 가지 중요한 작업을 수행합니다.
추론 게이트웨이는 AI에 의존하는 모든 운영 시스템에 필수적입니다. 일반적인 사용 사례는 다음과 같습니다.
추론 게이트웨이를 구현하면 상당한 운영상의 이점을 얻을 수 있습니다. 이는 클라이언트 애플리케이션을 모델 수명 주기와 분리하여 데이터 과학 팀이 소비 애플리케이션을 중단하지 않고도 모델을 업데이트, A/B 테스트 또는 롤백할 수 있도록 합니다. 또한, 관측 가능성을 중앙 집중화하여 성능, 지연 시간 및 오류율 모니터링을 간단하게 만듭니다.
주요 과제는 지연 시간 관리와 복잡성입니다. 게이트웨이가 추가적인 단계를 추가하기 때문에 낮은 예측 지연 시간을 유지하려면 성능 최적화가 중요합니다. 또한, 수십 가지 모델 버전에 걸친 복잡한 라우팅 규칙을 관리하려면 강력한 구성 관리가 필요합니다.
이 개념은 MLOps(머신러닝 운영), API 게이트웨이(더 광범위한 개념), 모델 서빙 프레임워크(모델을 실행하는 기본 기술)와 밀접하게 관련되어 있습니다.
