Đánh giá viên địa phương
Người đánh giá cục bộ (Local Evaluator) là một thành phần hoặc phương pháp luận trong quy trình AI hoặc Học máy được thiết kế để đánh giá hiệu suất, chất lượng hoặc mức độ liên quan của kết quả đầu ra của mô hình trong một ngữ cảnh cụ thể, bị giới hạn hoặc cục bộ. Không giống như các chỉ số toàn cục đánh giá hiệu suất tổng thể của tập dữ liệu, người đánh giá cục bộ tập trung vào độ trung thực của các dự đoán của mô hình so với các ví dụ cụ thể, chi tiết hoặc các yêu cầu vận hành cục bộ.
Trong các hệ thống AI phức tạp, một mô hình có thể hoạt động tốt trên các tiêu chuẩn tổng hợp nhưng lại thất bại thảm hại trong các kịch bản thực tế chuyên biệt. Người đánh giá cục bộ lấp đầy khoảng cách này. Nó đảm bảo rằng mô hình không chỉ chính xác về mặt thống kê mà còn phù hợp về mặt ngữ cảnh. Điều này rất quan trọng đối với việc triển khai, nơi các trường hợp ngoại lệ và sắc thái chuyên ngành quyết định thành công hay thất bại.
Quy trình này thường bao gồm việc cung cấp dữ liệu đầu vào cục bộ, cụ thể cho mô hình, sau đó sử dụng người đánh giá để chấm điểm kết quả đầu ra. Việc chấm điểm này có thể được tự động hóa (sử dụng các quy tắc kinh nghiệm được xác định trước hoặc các mô hình chuyên biệt nhỏ hơn) hoặc có sự tham gia của con người (human-in-the-loop). Người đánh giá so sánh kết quả đầu ra của mô hình với một 'sự thật cơ bản' cục bộ hoặc một tập hợp các tiêu chí thành công được xác định trước liên quan đến khu vực vận hành cụ thể đó.
Khái niệm này có liên quan chặt chẽ đến Kiểm thử Đối nghịch (Adversarial Testing), vốn chủ động cố gắng phá vỡ mô hình theo những cách cụ thể, và xác thực có sự tham gia của con người (Human-in-the-Loop - HITL), nơi các chuyên gia con người cung cấp sự thật cơ bản cục bộ.
