Quy trình làm việc có thể giải thích được
Quy trình có thể giải thích (XW) là một quy trình có cấu trúc, trong đó mọi bước, điểm quyết định và kết quả đầu ra trong một chuỗi tự động đều có thể truy vết, dễ hiểu và có thể biện minh được đối với người quan sát là con người. Nó vượt xa việc chỉ thực hiện các tác vụ; nó ghi lại tại sao và bằng cách nào hệ thống đi đến một kết quả cụ thể.
Trong các môi trường tự động phức tạp—đặc biệt là những môi trường được cung cấp năng lượng bởi Học máy (ML) hoặc các tác nhân AI—vấn đề 'hộp đen' đặt ra những rủi ro đáng kể. XW giải quyết vấn đề này bằng cách đảm bảo trách nhiệm giải trình. Đối với các ngành được quản lý, tính minh bạch này không phải là tùy chọn; đó là yêu cầu tuân thủ để kiểm toán, gỡ lỗi và xây dựng lòng tin của người dùng.
Việc triển khai XW liên quan đến việc tích hợp các lớp ghi nhật ký và diễn giải cụ thể vào công cụ quy trình làm việc. Thay vì chỉ ghi lại 'Hoàn thành tác vụ', hệ thống sẽ ghi lại 'Hoàn thành tác vụ vì Dữ liệu đầu vào X đáp ứng Điều kiện Y, điều này kích hoạt Mô hình Z với Điểm tin cậy C.' Điều này đòi hỏi phải thiết kế các quy trình làm việc với các nút quyết định rõ ràng được đưa vào một lớp giải thích.
Thách thức chính là sự phức tạp cố hữu của các mô hình AI tiên tiến. Việc chuyển đổi các phép toán toán học rất tinh tế thành ngôn ngữ con người đơn giản, có thể hành động mà không làm mất đi độ chính xác là điều khó khăn. Hơn nữa, việc bổ sung khả năng giải thích cho các hệ thống cũ thường tốn kém.