Inférence par lots
L'inférence par lots (batch inference) fait référence au processus d'exécution d'un modèle d'apprentissage automatique sur un grand ensemble de données d'entrée statiques en une seule fois, plutôt que de traiter des points de données individuels séquentiellement en temps réel. Au lieu de répondre instantanément à une seule requête utilisateur, le système traite un « lot » — une collection de données — et fournit les résultats ensemble plus tard.
Pour de nombreuses applications commerciales, des réponses immédiates en temps réel ne sont pas nécessaires. L'inférence par lots est essentielle pour optimiser les ressources informatiques et réduire les coûts opérationnels lorsque le débit élevé sur de grands ensembles de données est l'objectif principal. Cela déplace l'accent du service à faible latence vers le traitement à haut volume.
Le flux de travail commence par l'agrégation de l'ensemble de données cible. Ces données sont ensuite injectées dans l'infrastructure du modèle d'apprentissage automatique déployé. Le modèle traite toutes les entrées en parallèle ou par paquets optimisés, tirant parti des efficacités matérielles telles que le parallélisme GPU. Une fois le calcul terminé, les prédictions résultantes sont sorties, souvent stockées dans une base de données ou livrées via une tâche planifiée.
Plusieurs scénarios d'entreprise bénéficient grandement de l'inférence par lots. Ceux-ci comprennent les analyses nocturnes de détection de fraude sur des millions de transactions, la génération de scores de risque d'attrition client mensuels ou l'étiquetage d'images et la modération de contenu à grande échelle sur les médias téléchargés.
Les principaux avantages sont l'efficacité des coûts et le débit. En regroupant les requêtes, l'utilisation de l'infrastructure est maximisée, ce qui entraîne des coûts par prédiction inférieurs par rapport au maintien de points de terminaison de service en permanence et à faible latence pour chaque point de données.
Le principal compromis est la latence. Étant donné que les données sont traitées par paquets, les résultats ne sont pas instantanés. De plus, la gestion du pipeline de données — s'assurer que le lot d'entrée est correctement préparé et que la sortie est stockée de manière fiable — ajoute de la complexité au cycle de vie MLOps.
L'inférence par lots contraste fortement avec l'inférence en ligne (ou inférence en temps réel), où les prédictions doivent être retournées en quelques millisecondes pour une interaction utilisateur immédiate. Elle est étroitement liée aux processus ETL (Extraction, Transformation, Chargement) lorsqu'elle est utilisée pour l'enrichissement des données.
