Người đánh giá theo ngữ cảnh
Bộ đánh giá theo ngữ cảnh (Contextual Evaluator) là một hệ thống hoặc mô-đun được thiết kế để đánh giá chất lượng, mức độ liên quan và tính chính xác của kết quả do AI tạo ra bằng cách xem xét dữ liệu xung quanh, lịch sử nhắc lệnh (prompt history) hoặc môi trường hoạt động. Không giống như các bộ đánh giá dựa trên chỉ số đơn giản (như điểm BLEU), nó đánh giá chất lượng đầu ra dựa trên sự phù hợp về ngữ nghĩa trong một ngữ cảnh cụ thể.
Trong các ứng dụng AI phức tạp, một câu trả lời đúng về mặt kỹ thuật vẫn có thể sai về mặt ngữ cảnh. Ví dụ, một truy vấn tài chính được trả lời mà không xem xét đến bối cảnh danh mục đầu tư hiện tại của người dùng là vô dụng. Các Bộ đánh giá theo ngữ cảnh thu hẹp khoảng cách giữa độ chính xác thuật toán thô và tính hữu dụng thực tế trong thế giới thực, đảm bảo các giải pháp AI thực sự hữu ích.
Các bộ đánh giá này thường hoạt động bằng cách đưa nhắc lệnh ban đầu, phản hồi được tạo ra và dữ liệu ngữ cảnh liên quan (ví dụ: hồ sơ người dùng, các lượt trò chuyện trước, các đoạn trích từ cơ sở tri thức bên ngoài) vào một mô hình phụ hoặc một tập hợp các quy tắc tinh vi. Sau đó, bộ đánh giá chấm điểm đầu ra dựa trên các tiêu chí ngữ cảnh được xác định trước, chẳng hạn như tính mạch lạc, tuân thủ các ràng buộc và mức độ liên quan đến lĩnh vực.
Việc phát triển các bộ đánh giá theo ngữ cảnh mạnh mẽ là một thách thức vì bản thân 'ngữ cảnh' có thể mơ hồ hoặc khổng lồ. Việc xác định các chỉ số định lượng cho các phẩm chất chủ quan như 'sự phù hợp' đòi hỏi sự tinh chỉnh đáng kể của con người trong vòng lặp (human-in-the-loop) và kỹ thuật nhắc lệnh cẩn thận cho chính bộ đánh giá.
Các khái niệm liên quan bao gồm Tạo sinh có cơ sở (Grounded Generation), Tạo sinh tăng cường truy xuất (Retrieval-Augmented Generation - RAG) và Chấm điểm tương đồng ngữ nghĩa. Trong khi RAG cung cấp ngữ cảnh, Bộ đánh giá theo ngữ cảnh lại đánh giá mức độ mô hình sử dụng ngữ cảnh được cung cấp đó tốt như thế nào.
