Định nghĩa

Suy luận theo lô (Batch inference) là quá trình chạy một mô hình học máy trên một tập dữ liệu đầu vào lớn, tĩnh cùng một lúc, thay vì xử lý từng điểm dữ liệu riêng lẻ theo trình tự trong thời gian thực. Thay vì phản hồi ngay lập tức cho một yêu cầu người dùng duy nhất, hệ thống xử lý một 'lô'—một tập hợp các dữ liệu—và cung cấp kết quả cùng một lúc sau đó.

Tại sao nó quan trọng

Đối với nhiều ứng dụng kinh doanh, việc phản hồi tức thời, theo thời gian thực là không cần thiết. Suy luận theo lô rất quan trọng để tối ưu hóa tài nguyên tính toán và giảm chi phí vận hành khi mục tiêu chính là thông lượng cao trên các tập dữ liệu lớn. Nó chuyển trọng tâm từ việc phục vụ độ trễ thấp sang xử lý khối lượng lớn.

Cách thức hoạt động

Quy trình bắt đầu bằng việc tổng hợp tập dữ liệu mục tiêu. Dữ liệu này sau đó được đưa vào cơ sở hạ tầng mô hình ML đã triển khai. Mô hình xử lý tất cả các đầu vào song song hoặc theo các khối được tối ưu hóa, tận dụng hiệu quả phần cứng như tính song song của GPU. Sau khi tính toán hoàn tất, các dự đoán kết quả sẽ được xuất ra, thường được lưu trữ trong cơ sở dữ liệu hoặc được cung cấp thông qua một tác vụ theo lịch trình.

Các trường hợp sử dụng phổ biến

Nhiều kịch bản doanh nghiệp được hưởng lợi đáng kể từ suy luận theo lô. Các trường hợp này bao gồm quét phát hiện gian lận hàng đêm trên hàng triệu giao dịch, tạo điểm rủi ro khách hàng rời bỏ hàng tháng, hoặc thực hiện gắn thẻ hình ảnh và kiểm duyệt nội dung quy mô lớn trên các phương tiện đã tải lên.

Lợi ích chính

Những lợi thế chính là hiệu quả về chi phí và thông lượng. Bằng cách nhóm các yêu cầu, việc sử dụng cơ sở hạ tầng được tối đa hóa, dẫn đến chi phí trên mỗi dự đoán thấp hơn so với việc duy trì các điểm cuối phục vụ độ trễ thấp luôn hoạt động cho từng điểm dữ liệu.

Thách thức

Sự đánh đổi chính là độ trễ. Vì dữ liệu được xử lý theo các khối, kết quả không phải là tức thời. Hơn nữa, việc quản lý quy trình dữ liệu—đảm bảo lô đầu vào được chuẩn bị chính xác và đầu ra được lưu trữ đáng tin cậy—thêm sự phức tạp vào vòng đời MLOps.

Các khái niệm liên quan

Suy luận theo lô trái ngược rõ rệt với suy luận trực tuyến (online inference) (hoặc suy luận thời gian thực), nơi các dự đoán phải được trả về trong vòng mili giây để tương tác tức thời với người dùng. Nó có liên quan chặt chẽ đến các quy trình ETL (Trích xuất, Chuyển đổi, Tải) khi được sử dụng để làm giàu dữ liệu.